DeepSeek lokal installieren

 

Links

https://www.docker.com/products/docker-desktop/   Installieren und PC neustarten
https://ollama.com/  >> Download & Installieren; DeekSeek-Modell heraussuchen (Befehl dafür kopieren)
https://github.com/open-webui/open-webui >> Befehl für die Installation von Open-Webui über Ollama kopieren (ziemlich weit unten)

 

 

Installation Open-Webui über Ollama

 
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
 
 

Aufruf DeepSeek im Browser:

 
http://localhost:3000
 
 

 

 

Aufruf DeekSeek via Terminal

 

Hier sind die Schritte, wie du Deepseek im Terminal starten und Anfragen stellen kannst:

1. Terminal öffnen:

  • Öffne ein Terminal oder eine Eingabeaufforderung auf deinem Computer.

2. Ollama-Server starten:

  • Falls der Ollama-Server noch nicht läuft, starte ihn mit dem folgenden Befehl im Terminal:
 
ollama serve

3. Deepseek-Modell starten:

  • Um das Deepseek-Modell zu starten, verwende den folgenden Befehl im Terminal. Ersetze deepseek-r1:8b durch den tatsächlichen Namen und die Größe des Deepseek-Modells, das du heruntergeladen hast (z. B. deepseek-coder-v2:7b):
 
ollama run deepseek-r1:8b
  • Ollama lädt das Modell und macht es für Anfragen bereit. Dies kann je nach Modellgröße und deiner Hardware einige Zeit dauern.

4. Fragen stellen:

  • Sobald das Modell geladen ist, kannst du deine Fragen direkt im Terminal eingeben.
  • Drücke nach jeder Frage die Eingabetaste. Deepseek wird die Frage verarbeiten und eine Antwort generieren.

Beispiel:

> Was ist die Hauptstadt von Frankreich?
Paris
> 

Zusätzliche Hinweise:

  • Modell auswählen: Deepseek bietet verschiedene Modelle an, die für unterschiedliche Aufgaben optimiert sind (z. B. deepseek-coder-v2 für Codegenerierung, deepseek-r1 für allgemeine Aufgaben). Wähle das Modell, das am besten zu deinen Bedürfnissen passt.
  • Modellgröße: Größere Modelle benötigen mehr Rechenleistung und Speicherplatz. Beginne mit einem kleineren Modell und steigere die Größe, wenn deine Hardware dies zulässt.
  • Parameter anpassen: Du kannst die Parameter des Modells anpassen, um die Leistung zu optimieren. Weitere Informationen findest du in der Ollama-Dokumentation: https://ollama.com/docs/

Alternativen:

  • Wenn du eine grafische Benutzeroberfläche bevorzugst, kannst du Open Web UI verwenden, um mit Deepseek zu interagieren.
  • Es gibt auch andere Tools wie llama.cpp, die du verwenden kannst, um Deepseek-Modelle auszuführen.