Lokale Ollama Modelle als Agents
Tool-Use mit lokalen Sprachmodellen: Konzept, Umsetzung, Modell-Auswahl und praktische Grenzen beim Einsatz als autonome Agents.
Inhalt
Konzept: Modelle als Agents
Lokale Ollama-Modelle lassen sich als Agents einsetzen, indem sie mit Tool-Use-Fähigkeiten ausgestattet werden. Das Modell entscheidet selbst, welche Tools es aufruft, um eine Aufgabe schrittweise zu lösen.
Tool-Definitionen
Tools werden als JSON-Schema-Definitionen an das Modell übergeben. Das Modell gibt strukturierte Tool-Calls zurück, die der Host-Code ausführt und deren Ergebnis wieder als Kontext einspeist.
Modell-Auswahl
Nicht jedes lokale Modell unterstützt Tool-Use zuverlässig. Llama 3.1, Mistral und Qwen2.5 zeigen gute Ergebnisse. Kleinere Modelle neigen dazu, das Tool-Format nicht korrekt einzuhalten.
Praktische Grenzen
Lokale Agents eignen sich für klar definierte, schrittweise Aufgaben mit wenigen Tools. Komplexe Multi-Step-Reasoning-Aufgaben mit vielen parallelen Tool-Calls überfordern kleinere Modelle schnell.