Intelligenza artificiale offline: come utilizzare un LLM senza connessione Internet

Cosa significa intelligenza artificiale offline, e quanto deve essere "offline"?

Un LLM offline lavora su macchine controllate dall'azienda e, mentre risponde, non invia prompt né documenti all'esterno. Ci sono però gradi diversi di isolamento, e conviene scegliere quello che serve davvero.

Secondo il glossario del NIST, l'air gap è un'interfaccia tra sistemi non collegati fisicamente, in cui i dati si trasferiscono solo manualmente, sotto controllo umano. Per molte aziende il secondo livello è un punto di partenza ragionevole. Altri approfondimenti sono nella sezione AI offline e industria.

Cosa serve per far funzionare un LLM senza connessione Internet?

Servono hardware con memoria sufficiente (spesso una GPU), un runtime di inferenza, i pesi di un modello open-weight già presenti in locale e un'interfaccia di chat. La differenza sta nel separare la fase in cui i modelli vengono scaricati da quella in cui il sistema lavora.

• Ollama. La cartella dei modelli si sceglie con la variabile OLLAMA_MODELS (FAQ di Ollama): sapere dove stanno i modelli permette di controllare cosa entra nella macchina.
• Librerie Hugging Face. Con HF_HUB_OFFLINE non partono chiamate HTTP verso l'Hub e si usano solo i file in cache; se un file manca, il sistema dà errore invece di cercarlo in rete (documentazione di Hugging Face).

Non sono un sistemista: l'installazione la fa chi ha competenze infrastrutturali. Chi decide, però, deve sapere cosa chiedere: dove stanno i modelli, chi li ha scaricati, quali variabili sono impostate, quali porte sono aperte.

Per il quadro completo di componenti e fasi rimando alla guida all'AI on-premise e alla pagina sulla valutazione di un'AI on-premise.

Quali modelli open-weight si possono usare offline oggi?

L'offerta copre uso generale, programmazione, lettura di immagini e classificazione. Diversi modelli sono MoE (mixture of experts): molti parametri in totale, ma solo una parte attiva per ogni token. Tra il 14 e il 24 ottobre 2026 le note di rilascio di Ollama hanno aggiunto, tra gli altri:

Fonte: note di rilascio di Ollama, consultate il 26/10/2026. Per Flint le note riportano il 74,2% su SWE-bench Verified: è un risultato dichiarato, non una verifica indipendente. Il modello va scelto provandolo sui propri dati, e la licenza va letta modello per modello prima della produzione.

Come si evita che un'installazione "locale" parli comunque con l'esterno?

Bisogna disattivare in modo esplicito funzioni cloud, telemetria e controlli di aggiornamento: "installato sul PC" non vuol dire per forza "offline".

Le note di rilascio di Ollama elencano anche modelli cloud. La FAQ di Ollama spiega come bloccarli, insieme alla ricerca web: disable_ollama_cloud: true in ~/.ollama/server.json oppure OLLAMA_NO_CLOUD=1. Di base Ollama ascolta su 127.0.0.1, porta 11434; se lo si espone in rete con OLLAMA_HOST, servono controlli di accesso. Per le librerie Hugging Face, HF_HUB_DISABLE_TELEMETRY=1 spegne la raccolta di dati e HF_HUB_DISABLE_UPDATE_CHECK il controllo degli aggiornamenti (documentazione Hugging Face).

Una checklist da verificare con chi installa:

• Firewall in uscita che blocca Internet e registra i tentativi.
• Funzioni cloud spente e telemetria disattivata in tutte le librerie, non solo nel runtime.
• Proxy solo per il download dei modelli (HTTPS_PROXY, secondo la FAQ), poi rimosso.
• Esposizione in rete documentata: chi accede, da dove, con quali credenziali.
• Registri interni di utilizzo, conservati secondo le regole aziendali.

Perché un LLM offline riduce l'esposizione dei dati aziendali?

Se prompt e documenti non escono dalla rete, non finiscono nei registri, nei backup o nelle giurisdizioni di un fornitore esterno. Il rischio non sparisce: si sposta all'interno, dove va gestito con permessi, registri e regole d'uso.

Un caso recente: secondo Tech Times UK, fonte giornalistica secondaria, il servizio 302.ai, gestito da una società di Hong Kong, ha lasciato esposti 17,6 milioni di file, tra cui oltre 144.000 registri di chat e dati personali. L'esposizione, scoperta il 2 agosto 2026, risultava chiusa l'8 settembre; lo stesso articolo precisa che non ci sono prove di accessi malevoli. La lezione, senza allarmismo: i registri conservati da un servizio esterno sono dati che l'azienda non controlla, in questo caso fuori dall'UE.

Il timore è diffuso: secondo Eurostat, nel 2025 il 48,83% delle imprese UE che avevano considerato l'AI senza adottarla citava protezione dei dati e privacy. Un LLM offline, però, non rende conformi in automatico: titolarità, basi giuridiche e sicurezza restano. Ne parlo nella pagina su AI e GDPR.

Quanto costa un LLM offline rispetto ai modelli di frontiera a token?

Offline non si paga a token, ma ci sono costi fissi: hardware, installazione, manutenzione ed energia. Con volumi bassi le API possono costare meno.

Listini ufficiali consultati il 26/10/2026, soggetti a modifiche:

Scegliere dove vengono elaborati i dati ha un costo esplicito: OpenAI applica un sovrapprezzo del 10% agli endpoint con elaborazione regionale per i modelli rilasciati dal 5 marzo 2026 (prezzi API OpenAI), Anthropic 1,1 volte la tariffa per l'inferenza solo negli Stati Uniti (prezzi di Claude). Il piano Enterprise di Claude costa 20 $ per posto al mese, fatturati annualmente, con almeno 20 posti, più l'uso a tariffa API (prezzi di Claude): il costo cresce con le persone, oltre che con l'uso.

Ai volumi dell'esempio, le API costano meno del progetto ipotizzato. L'offline può diventare interessante con volumi molto più alti, molti utenti o più processi sulla stessa infrastruttura, oppure quando certi dati non possono uscire. Il metodo completo è nella pagina sui costi dell'AI in locale e nell'articolo su quanto costa un'AI privata in azienda.

Quando l'intelligenza artificiale offline non conviene?

Non conviene quando servono le prestazioni dei modelli di frontiera più grandi, quando l'uso è basso o irregolare, o quando nessuno in azienda può seguire aggiornamenti e sicurezza. Lì un servizio cloud con contratto adeguato è spesso più semplice.

Esistono soluzioni intermedie: il 28 agosto 2025 Google ha annunciato Gemini su Google Distributed Cloud in versione air gap (Google Cloud). L'annuncio non riporta prezzi: condizioni e trattamento dei dati vanno chiariti nel contratto.

Lavorare offline non elimina nemmeno gli obblighi normativi. Il D.Lgs. 7 ottobre 2026, n. 179, in vigore dal 23 ottobre 2026, adegua la normativa italiana al regolamento (UE) 2024/1689 e indica AgID e ACN come autorità nazionali per l'AI. Il luogo in cui gira il modello non cambia il quadro delle autorità competenti.

Se l'obiettivo è un assistente in stile chat per i dipendenti, confronta le opzioni nella pagina sul ChatGPT aziendale privato.

Da dove partire con un LLM offline in azienda?

Conviene partire da un singolo processo, non da un'infrastruttura:

1. Scegli un processo con dati sensibili e volume prevedibile: procedure, documentazione tecnica, codice.
2. Decidi il livello di isolamento necessario: ogni livello in più aggiunge costi e procedure.
3. Prova modelli open-weight su domande reali prima di parlare di hardware definitivo.
4. Definisci accessi, registri e regole d'uso. Per interrogare gli archivi interni, guarda come funziona un cervello aziendale sui documenti.
5. Confronta i costi con il cloud sullo stesso processo e sugli stessi volumi.

Se vuoi capire quale livello di isolamento serve alla tua azienda, e se ha senso economico, puoi chiedere una valutazione indipendente. Non vendo hardware né licenze: a volte la scelta più adatta è restare in cloud.