DeepSeek-R1 è Sicuro? Guida Completa all'Installazione e Configurazione in Locale

DeepSeek-R1 è un modello di intelligenza artificiale open-source sviluppato per offrire avanzate capacità di ragionamento, paragonabili a quelle di modelli leader come OpenAI-o1. La sua natura open-source consente agli utenti di eseguire il modello localmente, garantendo maggiore controllo sui dati e personalizzazione.

Guida all’installazione e all’uso di DeepSeek-R1 in locale

Quello che consiglio per avere un ambiente sicuro è containerizzare Ollama isolando applicazione dal resto dei dati o permessi che si possono definire grazie all’isolamento che offre docker e affini.

Hardware

DeepSeek-R1 è disponibile in diverse versioni per adattarsi a diverse configurazioni hardware.

Per determinare la versione di LLM da utilizzare più adatta al tuo sistema, verifica la memoria VRAM disponibile sul tuo host:

• Windows: Premi Windows + R, digita dxdiag, premi Invio, quindi clicca sulla scheda “Display”.
• Mac: Menu Apple > Informazioni su questo Mac > Più informazioni > Grafica/Monitor.
• Linux: Apri il Terminale e esegui lspci -v | grep -i vga.

Software

Assicurati di avere installato Docker o Podman, poiché semplifica l’installazione e l’isolamento dell’applicazione.

Perché eseguire gli LLM in locale?

• Maggiore sicurezza: I LLM eseguiti in locale mantengono tutti i dati sul proprio dispositivo, offrendo un controllo totale sulle informazioni sensibili.
• Funzionamento offline: Utilizzare un LLM localmente elimina la dipendenza da una connessione Internet.
• Risparmio economico: I servizi AI in cloud sono spesso a pagamento, mentre con Ollama puoi sfruttare il tuo hardware per eseguire i modelli gratuitamente.

per la guida ho deciso di sfruttare WSL su Windows ed usare Ubuntu sul quale installeremo poi l’engine Docker per containerizzare Ollama

Iniziamo

aprire il terminale windows ed eseguire wsl --install

una volta che ha installato, avviate un ulteriore terminale selezionando ubuntu:

configurate l’user e la password, e aggiornate Ubuntu

e cominciamo ad installare docker

dipendenze necessarie:

sudo apt install -y apt-transport-https ca-certificates curl software-properties-common

aggiungere la chiave GPG ufficiale di Docker:

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

aggiungere al sistema il repository Docker:

echo "deb [signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

installiamo docker:

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

aggiungere il vostro user precedentemente creato al gruppo docker:

sudo usermod -aG docker $USER

una volta installato correttamente tutto facciamo girare Ollama dentro il nostro container:

per NVIDIA GPU

docker run -d \
--gpus all \
-v ollama:/root/.ollama \
-p 11434:11434 \
--security-opt=no-new-privileges \
--cap-drop=ALL \
--cap-add=SYS_NICE \
--memory=8g \
--memory-swap=8g \
--cpus=4 \
--read-only \
--name ollama \
ollama/ollama

all’interno del run del container abbiamo inserito dei limiti per la sicurezza/privilegi e per le risorse hardware a disposizione del container , se conoscete ulteriori comandi scrivetelo nei commenti! Le stesse dichiarazioni potete anche inserirli per la controparte AMD che per esempio riporto come suggerito dalla guida docker di ollama:

per AMD GPU

docker run -d \
--device /dev/kfd:rw \  <-- con :rw diamo solo i permessi di lettura e scrittura per rendere disponibile la nostra GPU al container
--device /dev/dri \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama:rocm \

una volta che parte il nostro container, inserite il LLM che vorrete utilizzare, nel nostro caso Deepseek qui avete tutti quelli disponibili, ricordatevi che l’unico limite sarà il vostro hardware!

docker exec -it ollama run deepseek-r1

Per garantire che l’applicazione non stabilisca connessioni di rete indesiderate, è possibile monitorare le connessioni di rete associate al processo tramite questi comandi se preferite installare direttamente ollama sul vostro OS senza containerizzarlo:

Windows

while($true) {
    Get-Process ollama | ForEach-Object { 
        $id = $_.Id
        Write-Host "`nConnections for Ollama process $id" -ForegroundColor Green
        Get-NetTCPConnection | Where-Object OwningProcess -eq $id | Select-Object LocalAddress, LocalPort, RemoteAddress, RemotePort, State 
    }
    Start-Sleep -Seconds 2
    Clear-Host
}

Mac

\\controllo one time
pid=$(pgrep ollama)
lsof -i -P -n | grep ollama

\\monitor continuo
while true; do
    echo "$(date): Ollama Connections"
    lsof -i -P -n | grep ollama
    sleep 2
    clear
done

\\Alternativa usando netstat
netstat -p tcp -v | grep ollama

Linux

\\controllo one time
pid=$(pgrep ollama)
lsof -i -P -n | grep ollama

\\monitor continuo
watch -n 2 "lsof -i -P -n | grep ollama"

\\Alternativa usando netstat
netstat -np | grep ollama

\\ o suando ss (netstat ormai è deprecato, cominciate usando questo comando)
ss -np | grep ollama

Conclusione

Eseguire DeepSeek-R1 localmente offre numerosi vantaggi, tra cui un maggiore controllo sui dati e la possibilità di personalizzare il modello in base alle proprie esigenze.