LLM Workbench
GitHubAufbau einer privaten Web-Oberfläche für lokale LLM- und Coding-Agent-Workflows — von der Architektur über das Runner-System bis zum Git-Diff-Review-Workflow.
Inhalt
Motivation
Lokale LLM-Workflows liefen bisher als einzelne Prompts ohne Kontext, Logging oder Review. Ziel war eine private Steuerzentrale, die Ollama-Hosts, Projektkontext, Runs und Agent-CLIs in einem kontrollierten System zusammenführt — ohne automatischen Commit oder Push.
Architektur
Next.js-Frontend und FastAPI-Backend kommunizieren über eine REST-API. PostgreSQL speichert Projekte, Runs, Logs und Diffs. Live-Logs laufen über Server-Sent Events (SSE) — einfacher als WebSockets und ausreichend für Echtzeit-Streaming.
Runner-System
Vier Runner-Typen decken unterschiedliche Anwendungsfälle ab: OllamaRunner für LLM-Agentic-Loops mit Tool-Calling, ShellRunner für Build- und Skriptkommandos, AgentCliRunner für externe Coding-Agenten wie Claude Code oder Codex, ReviewLoopRunner für iterative Ollama-Reviewer-Pipelines.
Git-Diff & Review-Workflow
Nach jedem schreibenden Run wechselt der Status zu 'needs_review'. Ein farbiger Unified-Diff zeigt welche Dateien geändert wurden. Accept übernimmt die Änderungen, Reject setzt via 'git restore' zurück. Project-Lock verhindert parallele Schreib-Runs auf dasselbe Projekt.
Scheduler & Wiki-Pipeline
Wiederkehrende Routinen starten Runs automatisch nach Intervall und Uhrzeit. Die 4-Stufen-Wiki-Pipeline automatisiert das Befüllen von Wissenslücken: Claim-Gap → Web-Recherche → Artikel-Schreiben → Review — jede Stufe eine eigene Micro-Routine mit auto_accept.