DominoIQ ist eine in HCL Domino integrierte KI-Implementierung, die mit Large Language Models (LLMs) arbeitet und direkt lokal auf dem Server ausgeführt werden kann.
1. Allgemeines
1.1 Was ist ein LLM (Large Language Model)?
- Ein fortschrittliches KI-System, das auf riesigen Textdatenmengen trainiert wurde
- Beantwortet Fragen und fasst Texte zusammen
- Generiert kreative Inhalte
- Bietet Unterstützung bei Aufgaben durch natürliche Sprachverarbeitung
- Die Leistungsfähigkeit wird maßgeblich durch die Auswahl des passenden LLM bestimmt
1.2 EU AI Act - Wichtig für Unternehmen
- Regulatorischer Rahmen der EU zur Kontrolle von KI-Technologien
- Seit 1. August 2024 in Kraft
- Pflicht zu KI-Schulungen für Mitarbeiter bis 2. Februar 2025
- Risikosenkung durch bessere Schulungsmaßnahmen
- Wettbewerbsvorteile durch kompetente KI-Nutzung
2. Was ist DominoIQ?
2.1 Kernfunktionen
- In Domino integrierte KI-Lösung
- Nutzt Standard-LLMs mit lokaler Ausführung
- Funktioniert ohne externe Verbindung zur Laufzeit
- Nahtlos in Domino mit nativer Notes (NRPC) Transaktion integriert
- Bietet Unterstützung für LotusScript und Java-Klassen (NotesLLMRequest, NotesLLMResponse)
2.2 Technische Umsetzung
- DominoIQ Server mit NRPC "LLM" Transaktion
- LLAMA C++ Server (basierend auf demselben Open-Source-Projekt wie Ollama)
- Verbindung des Domino-Kerns mit dem LLAMA-Server über localhost (127.0.0.1)
- Benötigt Modelle im GGUF-Format
- LLAMA unterstützt die OpenAI REST API (aktuell implementierter Anfragentyp: /v1/chat/completions)
3. DominoIQ - Konfiguration (alle Details in der HCL Dokumentation)
3.1 Domino-Verzeichnisprofil Setup
- Zentrale Konfiguration aller DominoIQ-Server innerhalb einer Domino-Domäne
- Einrichtung direkt im Domino-Verzeichnisprofil (names.nsf)
- Festlegung des zuständigen Administrationsservers
- Erfassung aller Server, die DominoIQ ausführen
3.2 Datenbank Setup
- dominoiq.nsf wird automatisch von Domino erstellt
- Dient als Konfigurationsdatenbank für einen oder mehrere Server
- Muss auf jedem DominoIQ-Server vorhanden sein
- Enthält alle erforderlichen Konfigurationen, Befehle, System-Prompts und Modelle
3.2.1 Modell Konfiguration
- Automatischer Download und Verwaltung von GGUF-Format LLM-Modellen
- Erfolgt über ein "LLM Model"-Dokument in dominoiq.nsf
3.2.2 System-Prompts
- Erstellung eines "System Prompt"-Dokuments
- Anleitung der DominoIQ KI-Inferenzmaschine zur Formulierung von Abfragen
- Hilfe bei der Erzeugung präziser Antworten
3.2.3 Befehle
- Zuordnung von LLM-System-Prompts zu DominoIQ-Servern
- Erstellung eines "LLM Command"-Dokuments
3.2.4 Konfiguration
- Erstellung eines "DominoIQ Configuration"-Dokuments
- Verknüpft einen Domino-Server mit einem LLM-Modell
3.2.5 Remote-Konfiguration
- Erstellung eines "DominoIQ Configuration"-Dokuments im Remote-Modus
- Ermöglicht die Verbindung eines Domino-Servers mit einem extern gehosteten LLM-Endpunkt
3.3 Modell-Download
- Download des bevorzugten LLM (huggingface.co ist der größte Hub für LLMs)
- DominoIQ (LLAMA-Server) benötigt Modelle im GGUF-Format
- Die Benutzeroberfläche bietet Optionen zur Auswahl von LLMs, die als GGUF-Dateien verfügbar sind
- Für erste Tests empfohlen: Llama-3.2-3B-Instruct-GGUF
3.3.1 Empfohlene Modelle für verschiedene Anwendungsfälle
Anwendungsfall | Empfohlenes Modell |
Konversationsagenten & Chatbots | WizardLM 2 7B |
Content-Erstellung & kreatives Schreiben | phi-4 |
Zusammenfassung & Abstraktion | Meta-Llama 3.1 8B Instruct |
Code-Generierung & Programmierunterstützung | CodeLlama 7B KStack |
Übersetzung & Lokalisierung | EuroLLM 9B Instruct |
3.4 Weitere Konfigurationsschritte
3.4.1 Modellkonfiguration
- Name des Modells
- Kurze Beschreibung des Modells
- GGUF-Modelldateiname auf dem lokalen Laufwerk
- Ablageort der GGUF-Dateien: Verzeichnis "/DOMINODATA/llm_models"
3.4.2 Serverkonfiguration
- Erstellung eines Konfigurationsdokuments für jeden Domino iQ-Server
- Festlegung des vom Server zu verwendenden LLM-Modells
- Konfiguration des Ports für die Localhost-Verbindung
3.4.3 Remote-Serverkonfiguration (optional)
- URL des externen LLM-Servers
- API-Schlüssel für die Verbindung zum LLM-Server
- Manuelle Generierung eines sicheren Schlüsselwerts (Bearer-Token für die REST-API)
3.4.4 TLS-Konfiguration (optional)
- DominoIQ bietet vollständige TLS-Unterstützung
- Nutzt CertMgr TLS-Anmeldeinformationen
- CertMgr unterstützt nun "localhost"
- Localhost-Zertifikate können mit MicroCA erstellt werden
4. Dokumentation und Fehlerbehebung
- Dokumentation: Offizielle DominoIQ Server-Dokumentation
- Fehlerbehebung: Troubleshooting-Tipps
- Entwicklungsreferenz: NotesLLMRequest-Klasse