|
Ollama ist eine Software, die KI Modelle auf deinem PC starten kann. Diese Modelle sind die eigentliche KI. Ollama kümmert sich darum, dass du ein Modell laden, auswählen und benutzen kannst.
Punkt 1, Parameter Fenster
Über die Schaltfläche neben dem Kommando wird das Ollama Setup geöffnet.
Dort werden die Startparameter für Ollama festgelegt, zum Beispiel:
•Pfad zu ollama.exe
•OLLAMA_HOST
•OLLAMA_ORIGINS
•Modellordner
•Kontextlänge
•KV Cache Typ
•Keep Alive
•Warteschlange
•parallele Anfragen
•GPU Optionen
•Debug Ausgabe
Diese Einstellungen bestimmen, wie Ollama später durch diesen Auftrag gestartet wird.
Wichtig: Wenn die Ollama Parameter geändert wurden, muss Ollama mit den neuen Einstellungen neu gestartet werden.
Punkt 2, Ollama als Windows System Dienst starten
Soll Ollama unabhängig von einer Benutzeranmeldung als Windows System Dienst laufen, muss die entsprechende Dienst Option im Auftrag aktiviert werden. Dafür muss Z-Cron selbst als System Dienst installiert und eingerichtet sein. Das ist auf vielen Systemen bereits der Fall.
In diesem Fall startet nicht erst der angemeldete Benutzer den Auftrag, sondern der Z-Cron Dienst führt den Auftrag im Hintergrund aus. Das ist sinnvoll, wenn Ollama bereits nach dem Windows Start verfügbar sein soll, zum Beispiel:
•für einen Server
•für einen Rechner im lokalen Netzwerk
•für einen Arbeitsplatz, auf dem Ollama ohne Benutzeranmeldung laufen soll
Wichtig: Wenn Z-Cron nicht als System Dienst installiert ist, kann Ollama auf diesem Weg nicht als System Dienst gestartet werden. In diesem Fall verwenden Sie einfach die Autostart Variante. Dann startet Ollama, wenn sich der Anwender an Windows anmeldet und Z-Cron gestartet wird.
Start Parameter - Parameter Fenster
In diesem Fenster legen Sie fest, wie Ollama vom Programm im Server Modus gestartet werden soll.
Ollama ist die lokale KI Laufzeitumgebung. Damit andere Programmteile auf ein lokales Modell zugreifen können, muss Ollama als Server laufen. Das Programm startet dazu ollama.exe mit den hier eingetragenen Einstellungen. Die Einstellungen werden beim Start von Ollama übergeben. Wenn Ollama bereits läuft, müssen Sie Ollama zuerst beenden und danach mit den neuen Einstellungen erneut starten.
Link docs.ollama.com .png)
Weitere Informationen zu den Einstellungen .gif)
Typische Ursachen bei Problemen
•Der Pfad zu ollama.exe ist falsch.
•Ollama läuft bereits mit anderen Einstellungen.
•Der angegebene Modellordner ist nicht erreichbar.
•Der Port 11434 ist durch eine Firewall blockiert.
•OLLAMA_HOST ist nur auf localhost gesetzt, obwohl ein Zugriff aus dem Netzwerk erfolgen soll.
•Der Rechner hat zu wenig Arbeitsspeicher oder Grafikspeicher für Modell und Kontextlänge.
•Eine experimentelle GPU Option ist aktiviert, obwohl die Hardware oder der Treiber nicht dazu passt.
•Mehrere große Modelle werden gleichzeitig geladen.
Hinweis
Diese Einstellungen betreffen nur den Start des Ollama Servers durch Z-Cron. Wenn Ollama auf anderem Weg gestartet wird, zum Beispiel über die normale Ollama Windows Anwendung oder eine manuelle Eingabeaufforderung, können andere Einstellungen gelten.
Alle benutzten Warenzeichen und Firmenbezeichnungen unterliegen dem Copyright der jeweiligen Firmen
|