https://github.com/ollama/ollama

ModelVelikostRAMUkazSpecifika / Namen
Gemma 31B815MBollama run gemma3:1bMajhen jezikovni model, optimiziran za učinkovito delovanje na nizkih virih.
Gemma 34B3.3GBollama run gemma3Srednje velik model, primeren za splošno uporabo.
Gemma 312B8.1GBollama run gemma3:12bMočnejši model za naprednejše naloge NLP.
Gemma 327B17GBollama run gemma3:27bVelik model, primeren za kompleksne naloge in globlje razumevanje konteksta.
QwQ32B20GBollama run qwqEksperimentalni model, verjetno usmerjen v optimizacijo odzivov.
DeepSeek-R17B4.7GBollama run deepseek-r1Model namenjen raziskovanju in iskanju informacij.
DeepSeek-R1671B404GBollama run deepseek-r1:671bEkstremno velik model, verjetno za raziskovalne in specializirane AI naloge.
Llama 3.370B43GBollama run llama3.3Zelo zmogljiv jezikovni model, optimiziran za široko uporabo.
Llama 3.23B2.0GBollama run llama3.2Lažja različica Llama 3 za splošno uporabo.
Llama 3.21B1.3GBollama run llama3.2:1bMinimalna konfiguracija za osnovne naloge NLP.
Llama 3.2 Vision11B7.9GBollama run llama3.2-visionModel s podporo za obdelavo slik in besedila.
Llama 3.2 Vision90B55GBollama run llama3.2-vision:90bNapredni multimodalni model za obdelavo kompleksnih vizualnih podatkov.
Llama 3.18B4.7GBollama run llama3.1Stabilna različica Llama 3, primerna za poslovno in raziskovalno uporabo.
Llama 3.1405B231GBollama run llama3.1:405bZelo velik model za specializirane AI aplikacije.
Phi 414B9.1GBollama run phi4Model optimiziran za kreativno pisanje in kodiranje.
Phi 4 Mini3.8B2.5GBollama run phi4-miniLažja različica Phi 4, primerna za hitro generiranje besedila.
Mistral7B4.1GBollama run mistralNapreden model z dobro splošno zmogljivostjo in učinkovitostjo.
Moondream 21.4B829MBollama run moondreamSpecializiran za obdelavo besedila z nizko porabo virov.
Neural Chat7B4.1GBollama run neural-chatOptimiziran za konverzacijske aplikacije.
Starling7B4.1GBollama run starling-lmMočan jezikovni model za odprto domensko generiranje besedila.
Code Llama7B3.8GBollama run codellamaModel specializiran za razumevanje in generiranje programske kode.
Llama 2 Uncensored7B3.8GBollama run llama2-uncensoredVerzija Llama 2 brez vsebinskih omejitev.
LLaVA7B4.5GBollama run llavaMultimodalni model s podporo za slike in besedilo.
Granite-3.28B4.9GBollama run granite3.2Model optimiziran za poslovne aplikacije in podatkovno analizo.

Podobni sistemi kot Ollama

1️⃣ LM Studio (lmstudio.ai)

🖥 GUI aplikacija za lokalno izvajanje jezikovnih modelov
✅ Podpira LLaMA, Mistral, Gemma, Phi
✅ Enostavna namestitev (Mac, Windows, Linux)
✅ Prenos modelov iz Hugging Face
✅ Deluje podobno kot Ollama, a ima grafični vmesnik (GUI)


2️⃣ GPT4All (gpt4all.io)

🖥 Lokalna alternativa za AI čatbote
✅ Preprosta namestitev na Windows, Mac, Linux
✅ Podpira različne odprtokodne LLM-je (LLaMA, Mistral, Falcon)
✅ Deluje brez interneta
✅ Omogoča vgradnjo v aplikacije


3️⃣ LMDeploy (lmdeploy.io)

⚙️ Optimizirano za NVIDIA GPU
✅ Prilagojeno za hitro izvajanje velikih modelov na RTX/A100/H100 karticah
✅ Podpira LLaMA, Mistral, Qwen
✅ Lahko se integrira z NVIDIA TensorRT
✅ Bolj tehničen, potrebuje več nastavitev


4️⃣ Text Generation WebUI (oobabooga)

🖥 Napreden GUI za lokalne modele
✅ Podpora za LLaMA, Mistral, Gemma, GPTQ
✅ Podpira kvantizirane modele (nižja poraba VRAM-a)
✅ Deluje v terminalu ali z grafičnim vmesnikom
✅ Veliko možnosti prilagoditve


5️⃣ vLLM (vllm.ai)

⚡ Zelo optimiziran pogon za AI modele
✅ Hitrejše izvajanje v primerjavi z drugimi rešitvami
✅ Podpora za več LLM-jev
✅ Uporablja PagedAttention za večjo hitrost
✅ Primeren za strežniško uporabo


6️⃣ TGI (Text Generation Inference) (huggingface.co/tgi)

✅ Razvito pri Hugging Face
✅ Optimizirano za hitro izvajanje LLM modelov
✅ Podpora za API dostop
✅ Primerno za skalabilno izvajanje modelov


🔹 Kateri sistem izbrati?

✅ Za začetnike → Ollama, LM Studio, GPT4All (enostavna uporaba)
✅ Za napredne uporabnike → Text Generation WebUI, LMDeploy, vLLM
✅ Za strežniško okolje → TGI, vLLM

Če iščeš najenostavnejšo rešitev, je Ollama ali LM Studio najboljša izbira. Če pa želiš več nadzora in hitrosti, poglej vLLM ali Text Generation WebUI. 🚀

By miha213