Entstehungskontext
Dieses System ist ein just-for-fun-Experiment: Ich bin kein Programmierer und finde Coden äußerst lästig — mache es also minimalistisch und nur wenn es anders nicht geht. Ausgangspunkt war Neugier auf lokale KI-Infrastruktur, verbunden mit einer selbstironischen Aktion: In meinen Schulungen neige ich zu genau jenem Frontalunterricht, den ich vor 50 Jahren gräßlich fand. Ich versprach den TeilnehmerInnen kompensatorische Selbstapplikation — was mich in ein Bootcamp für neuronale Netze, KI und Verwandtes brachte. Das klappte erstaunlicherweise und führte zu explorativem Tinkering über mehrere Monate. Claude AI war dabei mein Implementierungsassistent.
Zwischenbilanz nach ~7 Monaten:
Typ A — Arbeit an inhaltlich nichttrivialen Themen mit dem Ziel eines „anregenden Mit-Lesers“ von Texten auf meinem Schreibtisch — funktioniert definitiv nicht. Genauer: Die Inhalte weiterverarbeitende Maschinerie funktioniert (CAS-Verifikation, Lean-Sieb, Komitee-Kritik, Retrieval, Buchführung), aber die Inhalte bereitstellenden Teile nicht. Lokale LLMs produzieren entweder Lawinen von Unsinn oder versinken in Trivialitäten.
Typ B — Sammeln, Auswerten und Aufbereiten großer Datenmengen zu inhaltlich einfachen Fragen (TransparenzAtlas, Economy Navigator u. a.) — funktioniert hervorragend; die Fehlermodi sind dort operativ (ausgefallene Dienste, blockierte APIs), nicht inhaltlich.
Der Grund: Erstens liegt solches Wissen im extremen Rand der Trainingsverteilung, und die für lokalen Betrieb nötige starke Quantisierung beschädigt genau diesen Rand zuerst. Zweitens bricht bei inhaltlich Nichttrivialem die Prüfen-ist-leichter-als-Erzeugen-Asymmetrie zusammen, auf der der Komitee-Ansatz beruht — der Prüfer braucht dasselbe seltene Wissen wie der Erzeuger. Drittens filtern die Werkzeuge auf der falschen Achse: Lean und CAS sieben Falsches aus, nicht aber Triviales; was das Sieb passiert, ist korrekt, aber selten interessant.
Ein anschließend vorgenommener Vergleich mit Frontier-Modellen (statt lokaler Modelle) zeigt: Sie sind dem lokalen System bei Kritik, Fehlersuche, Literaturgedächtnis und struktureller Klärung deutlich überlegen — ihre „inhaltlichen“ Beiträge waren durchweg ebenso dürftig. Der Leistungssprung zwischen „lokal“ und „frontier“ ist bei der Kritik-Funktion groß, bei „Inhaltlichem“ überraschend klein. Ein „anregender Mit-Leser“ entsteht so nicht.
Lokal realistisch erreichbar: ein rechnender Amanuensis — Verifikationsapparat, Retrieval über private Korpora, Buchführung — plus technisch exzellente Daten-Apps.
Über Infos und Anregungen würde ich mich freuen — Profis werden zahlreiche Schwächstellen entdecken, die mir völlig entgangen sind.
Background
This system is a just-for-fun experiment. I am not a programmer and find coding extraordinarily tedious — so I keep it minimal and only do it when there is no other way. The starting point was curiosity about local AI infrastructure combined with a certain self-ironic impulse: in my teaching I tend toward precisely the kind of frontal instruction I found dreadful fifty-plus years ago, and I had half-jokingly promised participants some compensatory self-application. That turned into a bootcamp for neural networks, AI, and related topics. Surprisingly, it worked, and led to exploratory tinkering over several months. Claude AI was my implementation assistant throughout.
Interim assessment after ~7 months:
Type A — work on substantively nontrivial topics with the aim of a "stimulating co-reader" for texts on my desk — plainly does not work. More precisely: the machinery that processes content works (CAS verification, the Lean sieve, committee critique, retrieval, record-keeping), but the parts meant to supply the content itself do not. Local LLMs either produce avalanches of nonsense or sink into triviality.
Type B — collecting, evaluating, and preparing large volumes of data for substantively simple questions (TransparenzAtlas, Economy Navigator, and others) — works excellently; the failure modes there are operational (services going down, blocked APIs), not substantive.
The reason: first, such knowledge sits at the extreme tail of the training distribution, and the heavy quantization local operation requires damages exactly that tail first. Second, for substantively nontrivial material the checking-is-easier-than-generating asymmetry that the committee approach relies on breaks down — the checker needs the same rare knowledge as the generator. Third, the tools filter along the wrong axis: Lean and CAS sieve out what is false, not what is trivial; what survives the sieve is correct, but rarely interesting.
A subsequent comparison with frontier models (rather than local ones) shows: they are clearly superior to the local system at critique, error-finding, literature recall, and structural clarification — yet their "substantive" contributions were just as thin throughout. The performance gap between "local" and "frontier" is large for the critique function, and surprisingly small for substance. A "stimulating co-reader" does not emerge this way.
What is realistically achievable locally: a computational amanuensis — verification apparatus, retrieval over private corpora, record-keeping — plus technically excellent data apps.
I would be happy about feedback and suggestions — professionals will undoubtedly spot numerous weaknesses I missed entirely.
