AnythingLLM — der Joute-Test

Das Wichtigste in 20 Sekunden

Desktop-App (Mac, Windows, Linux) für RAG auf deinen eigenen Dokumenten
Läuft 100% lokal — keine Daten verlassen deinen Rechner
Unterstützt Ollama, LM Studio und Cloud-APIs (OpenAI, Claude, Gemini)
Preis: kostenlos, Open Source

Fazit: Die beste No-Code-Lösung für lokales RAG auf deinen Dokumenten. Privacy-first, multimodel, ohne Reibung.

Was ist AnythingLLM?

AnythingLLM ist eine Open-Source-Desktop-Anwendung, mit der du Chat-Workspaces auf Basis deiner eigenen Dokumente erstellen kannst. Du importierst PDFs, Textdateien, Webseiten, GitHub-Repos und kannst dann mit dem LLM deiner Wahl Fragen dazu stellen.

Alles läuft lokal. Kein Dokument wird in die Cloud gesendet, wenn du ein lokales Modell über Ollama verwendest. Für sensible Dokumente ist das das ideale Setup.

Stärken

Volle Privatsphäre möglich

Mit Ollama oder LM Studio als Backend bleibt die gesamte Kette lokal. Deine Dokumente, deine Gespräche, dein Verlauf. Null Cloud-Daten.

Multi-Dokumente, Multi-Workspaces

Du kannst thematische Workspaces erstellen: einen für deine technische Dokumentation, einen für Meeting-Notizen, einen für deine PDF-Bibliothek. Jeder Workspace ist isoliert.

Keine technische Konfiguration nötig

Die Oberfläche ist grafisch. Dokumente per Drag-and-Drop importieren. Chunking, Embedding, Indexierung: alles automatisch. Kein Code, kein Terminal.

Einschränkungen

Lokale Performance durch Hardware begrenzt

Mit einem lokalen Modell auf einem M1 Mac können Antworten bei großen Korpora 10 bis 30 Sekunden dauern. Die Erfahrung ist weniger flüssig als mit einer Cloud-API.

Keine Mehrbenutzerkollaboration lokal

AnythingLLM Desktop ist für einen einzigen Benutzer ausgelegt. Eine Cloud-Version (Mintplex Labs) gibt es für Teams, aber die fällt aus dem kostenlosen Bereich heraus.

Preise

Desktop: kostenlos, Open Source (MIT)
AnythingLLM Cloud: kostenpflichtige Pläne für Teams, Preise auf der Website

Alternativen

Open WebUI für eine selbst gehostete Web-Oberfläche mit Ollama
LM Studio für lokale Modelle ohne integriertes RAG
NotebookLM für Cloud-RAG auf deinen Dokumenten, von Google

Fazit

AnythingLLM ist das einfachste Setup für lokales RAG ohne Kompromisse bei der Privatsphäre. Wenn du Dokumente hast, die du nicht in die Cloud senden willst, sie aber in natürlicher Sprache abfragen möchtest, ist das das erste Tool, das du installieren solltest.

FAQ

Unterstützt AnythingLLM Excel- und PowerPoint-Dateien?

Ja. PDF, DOCX, PPTX, XLSX, TXT, CSV und weitere Formate werden unterstützt.

Kann man AnythingLLM mit einem GitHub-Repo verbinden?

Ja. Es gibt einen nativen Konnektor, um den Inhalt eines öffentlichen oder privaten GitHub-Repos in einen Workspace zu importieren.

Kann AnythingLLM in Echtzeit auf das Internet zugreifen?

Nicht standardmäßig. Es ist ein RAG-Tool für statische Dokumente. Web-Agents können konfiguriert werden, sind aber ein fortgeschrittenes Feature.

Welche Korpusgröße wird unterstützt?

Kein theoretisches Limit. In der Praxis kann die Indexierungsleistung bei über 10.000 Seiten je nach Hardware langsamer werden.

AnythingLLM ist Open Source und kostenlos. Joute erhält keine Provision für dieses Tool. Mehr zu unserer Affiliate-Richtlinie erfahren.