Lokales KI-ÖkosystemMac Studio M3 Ultra · 256 GB · Vollständig lokal

RAM-Beschränkung: MAX_LOADED_MODELS=1, NUM_PARALLEL=1 — DSV4 (~153 GB) + qwen3:235b (~142 GB) = 295 GB > 256 GB. Deshalb strikt sequenzieller Betrieb.

DeepSeek V4 Flash (DSV4) — separater llama-server

284B MoE, 153 GB GGUF, gemischte Quantisierung (Q4KExperts/F16HC), auf TB5-WORK. Eigener llama-server (Build 9650) auf Port 8888 — 256K Kontext, 99 GPU-Lagen. Automatisch via Router für sehr lange Eingaben (>400-Token-Komplexitätsschwelle) gestartet.

GLM-5.2 (Z.ai) — dedizierter llama-server

744B MoE, 40B aktiv, Unsloth UD-IQ2_M (239 GB GGUF), auf TB5-WORK. Eigener llama-server auf Port 8890 — ctx-size 16384 (praktischer Sweet Spot, architektonisch bis 1M möglich), 999 GPU-Lagen mit CPU-Offload der MoE-Experten-Gewichte (Metal-Speicherlimit). Startet automatisch per nimm glm52 oder wenn das semantische Auto-Routing eine komplexe Coding-/Agentic-Aufgabe erkennt; stoppt dabei automatisch DSV4 (Speicherkonflikt-Vermeidung, ~230 GB RSS).

MLX-LM 0.31.3 — Apple-Silicon-nativer Inferenz-Layer

Zusätzlich zu Ollama ist MLX-LM 0.31.3 (Apple MLX-Bibliothek) installiert. OLLAMA_BACKEND=mlx ist dauerhaft in ~/.zshrc gesetzt — ca. 26–30 % Geschwindigkeitsgewinn bei langen Prompts durch Apple-Silicon-optimierte Kernel. Verwendbar auch direkt via mlx_lm.generate oder mlx_lm.server.

FastAPI-Middleware auf Port 11435 (~/llm_router/llm_proxy.py). Jede Anfrage von Open WebUI und allen anderen Clients läuft ausschließlich über diesen Proxy.

Zweistufiges Routing: Stufe 1 — regelbasierter Dispatcher (Domain-Keywords, Token-Länge, <1 ms). Stufe 2 (ambig) — L1-Reformulator (kleineres LLM klassifiziert Absicht).

Anti-Halluzinations-Protokoll: P4-Struktur in allen epistemischen Prompts. Synthegy-Evaluator: Jede Antwort durch separates Evaluator-LLM (Genauigkeit 1–5, Fundierung 1–5). Synthegy ist ein lokales, LLM-basiertes Bewertungsverfahren; die Scores sind heuristische Qualitätsschätzungen, keine unabhängige Wahrheitsprüfung.

Spezialbefehle: /ensemble, /kreativ, /navigator, /destilliere, /speichere, /journal.

Die öffentlich hervorgehobenen 48 Aufgaben sind der frische, vorab eingefrorene finale End-to-End-Holdout — nicht der gesamte empirische Testumfang. Vor diesem Holdout lagen bereits 288 kontrollierte author-seitige Evaluations-Slots/Runs aus First Pass und den Extensions B/C/A vor (144 + 48 + 40 + 56). Diese 288 sind ausdrücklich keine 288 unabhängigen Aufgaben — viele Runs nutzen dieselben Grundaufgaben unter verschiedenen Modellen oder Interventionen. Hinzu kommen umfangreiche Blind-Grader-/Adjudikationsinferenzen, technische Retries sowie die späteren RM16- und RM17-Tests.

RM16 — matched R70-vs-R671 (getrennt vom 48er-Benchmark)

Automatischer R671-Selector: REJECT. Diese Ergebnisse werden nicht mit dem 48-Aufgaben-Holdout zu einem nachträglichen Gesamtscore verrechnet.

Ausführliche Methodik: Testmethodik & Anti-Goodhart (PDF, DE) · englische Fassung (PDF).

Fünf Komponenten halten Zustand über einzelne Sitzungen hinaus fest und unterscheiden dabei ausdrücklich zwischen Gesichertem, Widerlegtem und Offenem. Sie sind technisch über Router, Open-WebUI-Tools und die Neo4j-Anbindung verteilt implementiert, gehören aber konzeptionell zusammen:

• DMP Slow State — Sitzungsprofil (20 Dimensionen, 5 Features × 4 Zeitskalen, JSON-persistiert), injiziert ab ca. 3 Austauschen, 8 h TTL. Details: Abschnitt 02.
• Session-Harvester (C1 Session-End-Hook) — dreischichtige Extraktion: /speichere → Projekt-Extraktion; TTL-Ablauf → Harvest-Queue; alle 30 Min → projekt_zustand.json. Details: Abschnitt 02.
• Context-State-Condenser — QUEST-Schema (Xie et al., arXiv:2605.24218): drei Buckets trusted/untrusted/uncertain; offene Punkte tragen ein explizites need-Feld statt in einem homogenen Gedächtnis zu verschwimmen. Details: Abschnitt 04, Open-WebUI-Tools.
• Forschungsgraph (Neo4j) — Kausalkette hypothese_neu → experiment_starten → ergebnis_erfassen → kritik_hinzufuegen → revision_erstellen; speichert das WARUM eines Erfolgs oder Scheiterns, nicht nur das WAS. Details: Abschnitt 04, Open-WebUI-Tools.
• Neo4j Slow Memory — persistentes Wissensgraph-System (Labels: Person, MathConcept, Project, Text, Argument); Synthegy-Scores und Evaluationsergebnisse werden hier dauerhaft gehalten. Details: Abschnitt 06, Systemarchitektur.

lean_iterativ v4 — Iterativer Proof-Refinement-Loop

Open-WebUI-Tool für iterative Lean 4-Beweisverifikation (Ralph Loop, arXiv:2605.22763). Implementierungsgrundlage: Li et al. "Compile to Compress" (ICML 2026).

• A — Inline-Fehlerinjektion: Compiler-Fehler direkt als -- ERROR:-Kommentar. Li et al. Table 10: +3 % auf MiniF2F.
• B — Markovianische Disziplin: Nur aktueller Code + Compiler-Fehler, keine Geschichte.
• C — Fehlertyp-Routing: unfixierbar (linarith, omega, nested error — Frühabbruch ab Runde 2), schwer (unsolved goals, type mismatch), reparierbar.
• D — BFS/DFS + EVOLVE-BLOCK: frische_versuche=N streut alle N Runden unabhängigen Versuch. locked_regions=True schützt Theorem-Signatur.
• v4 — Bugfix: _lean_kompiliere() überschreibt Test.lean temporär, JSON-Fehlerformat korrekt geparst.
• E — Prä-Validierung (lake env lean): Neuer Schritt VOR dem Ralph Loop: _praeval_lean_env() führt lake env lean MathProject/Test.lean aus. Strukturell unfixierbare Fehler (unknown package, file not found, parse error) → sofortiger Abbruch, spart max_runden × lake-build-Iterationen. Runde-1-Ergebnis wiederverwendet (kein Doppel-Build). Neue _FEHLER_UNFIXIERBAR-Muster: unknown package, file not found, unknown import.

Open-WebUI-Tools — KI-Okosystem-Erweiterungen (Juni 2026)

Basierend auf Sakka, Mizukami & Mitarai, "An LLM System for Autonomous Variational Quantum Circuit Design" (arXiv, Osaka, Juni 2026): Drei neue bzw. substantiell erweiterte Tools implementieren die Kernarchitektur des Papers (Exploration → Discussion → Review-Memory).

komitee_bewertung v2.0 — Discussion-Phase (Sakka et al. 2026)

Drei-Rollen-Kritikzyklus statt generischem SCORE: X/10:

• Expert 1 + 2 (domänenspezifisch): Valve expertenrollen_domaene: mathematik (Arithmetischer Geometer · Homotopie-Theoretiker · Lean-4-Logiker · Falsifizierer), physik, philosophie, allgemein.
• Advocate: Entscheidet selektiv, liefert verbesserten Proposal.

R1-671B optional als Critic/Comparator-Backend (Port 8889). Ablationsstudien-Nachweis: Discussion > Self-Reflection (Sakka et al. Fig. 6).

komitee_exploration — Exploration-zuerst-Modus

Sakka et al. Ablation (Fig. 6): Exploration stabilisiert Optimierungstrajektorie unabhängig von Startqualität. Ohne: Korrelation = -0,57. Mit: +0,003 (stabil). SearXNG-Recherche → n_seeds=8 diverse Ideen → n_final=3 ausgewählt → danach komitee_bewertung.

forschungsgraph_neo4j — Kausales Review-Memory

Kausalkette: hypothese_neu → experiment_starten → ergebnis_erfassen → kritik_hinzufuegen → revision_erstellen. Speichert nicht nur WAS, sondern WARUM etwas funktionierte/scheiterte. Schema: 5 Knoten-Constraints (Hypothese, FExperiment, FErgebnis, FKritik, FRevision). Projekte: ArithGaugeTheory, Anima-IV, FloerCondensed.

context_state_condenser — Epistemischer Context State (QUEST-Paradigma)

Implementiert das Context-State-Schema aus Xie et al., Quest: Training Frontier Deep Research Agents with Fully Synthetic Tasks (arXiv:2605.24218, Mai 2026). Komprimiert lange Konversationsverläufe in ein strukturiertes JSON mit drei Buckets: trusted (verifizierte Fakten mit Quellenangabe), untrusted (widerlegte Claims), uncertain (offene Punkte mit explizitem need-Feld als konkrete Handlungsanweisung). Bestehende States werden gemergt, nie überschrieben.

• kontext_kondensieren: Hauptfunktion, Modellwahl über Valve (qwen3:235b-a22b voll, qwen3.6:35b-a3b schnell).
• state_lesen: Markdown-Zusammenfassung eines States, farbcodiert nach Bucket.
• uncertain_aktionen: extrahiert offene Verifikationsschritte als Checkliste.

rubrik_baum_komitee — Rubrik-Baum-Erweiterung von komitee_bewertung

Erweitert komitee_bewertung um hierarchische Rubrik-Bäume nach QUEST (Xie et al., arXiv:2605.24218, Abschnitt 2.1). Jeder Knoten trägt eine critical-Markierung (kritisches Versagen nullt den Elternknoten) und eine aggregation_strategy (sequential oder parallel). Blattknoten-Bewertung erfolgt als ein einzelner Batch-Aufruf statt n Einzelaufrufen — alle Kriterien eines Proposals werden in einem LLM-Call bewertet, danach rekursiv durch den Baum aggregiert.

• rubrik_baum_definieren: generiert Rubrik-Baum automatisch aus Aufgabenbeschreibung (qwen3:235b-a22b).
• antwort_bewerten: Batch-Bewertung aller Blattknoten gegen einen Text, rekursive Aggregation.
• komitee_mit_rubrik: vollständiges Verfahren — k Proposals aus vier epistemischen Perspektiven (analytisch, synthetisch, adversariell, pragmatisch), Rubrik-Bewertung, Ranking.
• rubrik_analyse_lesen: lesbare Markdown-Analyse mit farbcodierten Score-Balken.

Installiert in Miniforge3-Umgebung chem_env (Python 3.12). Vollständig isoliert von unified_env, kein Konflikt mit LLM-Stack.

Verifikationstest PySCF: Hartree-Fock auf HF-Molekül, Ergebnis: E_HF = -99.987397 Hartree.

Physik-Stack für Quantenmechanik, Allgemeine Relativitätstheorie und Numerische Relativität. Ergänzt den Chemie/Bio-Stack durch spezialisierte GR-Werkzeuge (Cadabra2, EinsteinPy) und den Julia/NRPy+-Stack für numerischen Gravitationskollaps.

Open-WebUI-Werkzeuge: physik_simulation (Julia+QuTiP), qutip_simulation (Lindblad-Meister-Gleichung), physik_simulation_generieren (LLM→Code→Ausführung).

✓ Cadabra2 Tensor-Test: Ex('R^{a}_{b c d}') → Riemann-Tensor korrekt. EinsteinPy: Geodäten-Import OK.

Developer- & Build-Tools

Vektordatenbanken (LanceDB): plotinus_multilingual (78.674 Chunks), latin_passages, cardano_hybrid, philarchive, OSE-Wiki, Macrobius — BGE-M3-Embeddings, multilingual.

Lokales arXiv-Archiv (2,4 Mio Papiere): Vollständiger arXiv-Metadaten-Korpus (alle Disziplinen, Titel + Abstracts) als LanceDB-Vektorindex mit BGE-M3-Embeddings (12 GB, auf TB5-WORK). Abfragbar über einen schlanken lokalen Dienst (Port 7868, LaunchAgent), der den Index warm hält und Query-Embeddings über Ollama bge-m3 erzeugt — kein Internet, kein Rate-Limit. Angebunden als Open-WebUI-Werkzeug (arxiv_lokal) und in den Router integriert; die Modelle (router:auto, qwen3:235b, DSV4-Flash) rufen die semantische Literatursuche bei Bedarf selbständig auf, mit optionalem Kategorie-Filter (z. B. math, math-ph, gr-qc). Reaktivierter Korpus des früheren „TopoX ArXiv Navigator".

Slow Memory — Neo4j Knowledge Graph

Neo4j (Port 7687, Bolt): persistentes Wissensgraph-System als "Slow Memory". Labels: Person, MathConcept, Project, Text, Argument. Synthegy-Scores und Evaluationsergebnisse persistiert. Zusätzlich: Forschungsgraph-Schema (Hypothese · FExperiment · FErgebnis · FKritik · FRevision) für kausales Review-Memory nach Sakka et al. 2026.