Linux’ta Ollama ve Open WebUI Kullanarak LLM’leri Yerel Olarak Çalıştırma

Ollama Linux’a Nasıl Kurulur

Ollama’nın kurulumu ve ardından LLM sürecinin indirilmesi ve çalıştırılması basittir, ancak terminalinize atlamadan önce, LLM’lerle olan tüm etkileşimlerinizin yalnızca sisteminizin CPU’su veya GPU’su tarafından desteklenen yerel olarak (internet olmadan) gerçekleşeceğini bilin.

Bu nedenle, en az 16 GB RAM’e ve 4 GB Nvidia 1060 veya üzeri bir GPU’ya sahip olduğunuzdan emin olun; değilse, Intel i5 veya AMD Ryzen 3’ten daha büyük sekiz çekirdekli bir CPU. Bu notla başlayalım…

1. Adım: Ollama’yı Linux’a yükleyin

Resmi Ollama proje sayfası, kurulum için tek satırlık bir curl komutu sağlayarak Linux sisteminize hızlı ve kolay kurulum sağlar.
📝
Biraz büyücülük yoluyla fazladan bir can elde ederseniz, her şeyi ihtiyaçlarınıza göre özelleştirmenize olanak tanıyan manuel kurulum dikkate alınması gereken bir seçenektir.

$ curl -fsSL https://ollama.com/install.sh | sh

Yukarıdaki komut yürütüldüğünde, Ollama’nın birkaç saniye sürebilecek kurulum sürecini başlatacaktır.

Son satıra odaklanırsanız, çalışan sistemde GPU bulunmadığına dair bir uyarı görürsünüz. Gerçekten de, şu anda sistemimde harici bir GPU yok, bu yüzden tüm ağır işler zayıf CPU’m tarafından yapılacak.

2. Adım: Ollama’nın Durumunu Kontrol Edin

Yükleme işlemi tamamlandıktan sonra, tercih ettiğiniz tarayıcıyı (Chrome veya Firefox) açabilir ve Ollama’nın çalıştığını doğrulamak için aşağıdaki URL’ye erişebilirsiniz.

http://127.0.0.1:11434

Çıktı:

Sistemimde çalışır durumda olduğunu açıkça görebilirsiniz, böylece artık favori LLM’lerimizi kurabiliriz.

Adım 3: Ollama Kullanarak LLM’leri Kurun

Artık Ollama Linux sistemimizde kurulu ve çalışır durumda olduğuna göre, tercih ettiğiniz LLM’leri keşfetmek için Ollama Kütüphanesini keşfedebilir ve bulduktan sonra aşağıdaki sözdizimini kullanarak yükleyebilirsiniz:

$ ollama pull <LLM_NAME>

Örneğin Meta Llama 3 7B (yedi milyar) modelinin yaklaşık 4,7 GB boyutundaki son sürümünü yüklemek için aşağıdaki komutu kullanabilirsiniz:

$ ollama run llama3

İndirme işlemi internet hızına bağlı olarak biraz zaman alacaktır.

Çeşitli LLM’leri deneyebileceğinizi hatırlatmak için kısa bir not. Kendinizi biraz tembel hissediyorsanız, aşağıdaki tabloya bazı popüler LLM’ler için doğrudan kurulum komutlarını ekledim.

Adım 4: Ollama Kullanarak LLM’lere Erişin

İstenen LLM’ler yüklendikten sonra, bunlara erişmek için aşağıdaki sözdizimini kullanabilirsiniz:

$ ollama run <LLM_NAME>

Örneğin, sistemimde Meta Llama 3 yüklüyken, sohbet arayüzüne komut satırından erişmek için aşağıdaki komutu çalıştırabilirim:

$ ollama run llama3

İçeri girdiğimde tipik karşılama mesajını almadım; bunun yerine hemen “>>>” istemi belirdi. Böylece “Açık kaynak nedir?” gibi birkaç soru sormaya başladım. Yanıtını aşağıda görebilirsiniz.

Yukarıdaki statik görüntü, bu kadar çok içerik oluşturmanın ne kadar sürdüğünü açıklamıyor, ancak inanın bana, tamamen yerel sistem ve benim durumumda CPU’m tarafından işlendiği için önemli miktarda zaman aldı.

Metin oluşturma sürecine dahil olan CPU, GPU veya RAM işleme miktarını merak ediyorsanız, bazı istatistiklerini görmek için “top” veya “ps -aux” komutunu girmeniz yeterlidir.

Etkileşimi tamamladığınızda, bazı ek bilgiler almak için “Ctrl+D” tuşlarını kullanarak, “/bye” yazarak veya “/?” tuşlarını kullanarak istemden çıkabilirsiniz.

Burada Ollama’yı yüklemeyi, ardından en sevdiğiniz LLM’leri indirmeyi, çalıştırmayı ve bunlara erişmeyi öğrendiniz. Sisteminiz uzakta bulunuyorsa, tarayıcıyı kullanarak LLM’lerinize her yerden erişmek için SSH yapabilir veya Open WebUI’yi kullanabilirsiniz. Öyleyse, bunun için adımlara bakalım…

Open WebUI Kullanarak ChatGPT Benzeri Tarayıcı Arayüzü Nasıl Kullanılır

Open WebUI, ChatGPT benzeri bir arayüz aracılığıyla yerel olarak veya uzaktan tarayıcınızdan yerel olarak kurulu LLM’lerinizi kullanmanıza ve bunlara erişmenize olanak tanıyan açık kaynaklı bir projedir.

Daha kullanıcı dostudur ve yapılandırması kolaydır, bu nedenle ilgileniyorsanız, Linux sisteminize kurmak için aşağıda belirtilen adımları izleyin.

1. Adım: Docker’ı Linux’a yükleyin

Open WebUI, bir Docker konteynerini hızlı bir şekilde başlatmak için anında çekip kullanabileceğiniz bir Docker görüntüsü olarak mevcuttur, ancak önce sisteminizde Docker’ın kurulu olması gerekir.

2. Adım: Open WebUI’yi Docker’a yükleyin

Docker sisteminize yüklendikten sonra, Open WebUI görüntüsünü çekmek için aşağıdaki komutu çalıştırabilir ve ardından indirilen görüntüyü kullanarak bir kapsayıcı başlatabilirsiniz.

$ sudo docker run -d --network=host -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Yukarıdaki komutu çalıştırdığınızda, Open WebUI resim indirme işlemi internet hızınıza bağlı olarak biraz zaman alacaktır.

Çarpma kabuğu

$ docker ps

Output:

3. Adım: Tarayıcıda Açık WebUI’ye Erişin

Artık Open WebUI çalıştığına göre tarayıcınızı açın ve aşağıdaki URL’ye erişin:

http://127.0.0.1:8080

Bu, önce adınız, e-posta adresiniz ve şifreniz gibi ayrıntıları girerek yeni bir hesaba kaydolmanız gereken Open WebUI giriş sayfasını açacaktır. Daha sonra, oturum açmak için bu kimlik bilgilerini kullanabilirsiniz ve bunları daha sonra kullanmak üzere parola yöneticinizde güvenli bir şekilde saklamayı unutmayın.

Artık kontrol panelinde Open WebUI’nin en son sürümündeki özelliklerle karşılaşacaksınız ve devam etmek için “Tamam, Hadi Gidelim!” düğmesine tıklayabilirsiniz.

Sonunda buradasın! Sisteminizde yerel olarak yüklü LLM’lerle etkileşim kurmak için bunları sol üst köşeden seçerek başlayın. Bu makaleyi takip ediyorsanız, sisteminizde zaten “Meta Llama 3 8B modeli” kurulu olmalıdır, böylece o modeli tercih edebilirsiniz.

İşiniz bittiğinde, onunla etkileşime geçmeye başlayabilirsiniz.

Burada bir sohbet oluşturabilir, yeniden adlandırabilir, kaldırabilir, yanıtları düzenleyebilir ve ChatGPT arayüzünün sunduklarının ötesinde çok sayıda başka eylem gerçekleştirebilirsiniz.

Ollama Nasıl Kaldırılır ve WebUI Linux’tan Nasıl Açılır

Gereksiz bulursanız ve hem Ollama’yı hem de Open WebUI’yi sisteminizden kaldırmak istiyorsanız, terminalinizi açın ve Open WebUI kapsayıcısını durdurmak için aşağıdaki komutu çalıştırın.

$ docker stop open-webui
$ docker remove open-webui

Tüm Docker görüntülerini listelemek için şunu yürütün:

$ docker images

Open WebUI görüntüsünü bulun ve “IMAGE ID” yi not edin, ardından aşağıdaki sözdiziminde kullanın:

$ docker rmi <IMAGE_ID>

Ardından, hesabınızın ve tercihinizin Open WebUI bilgilerini içeren “/var/lib/docker/volumes/open-webui” dizinini kaldırabilirsiniz; gelecekte yüklemeyi planlıyorsanız, bunu atlayın.

Ollama’yı kaldırmak için öncelikle aşağıdaki komutu kullanarak yüklediğiniz tüm LLM’lerin listesini tanımlayın:

$ ollama list

Ardından adlarını kullanın ve her birini kaldırmak için aşağıdaki sözdiziminde belirtin.

$ ollama rm <LLM_NAME>

Ardından Ollama hizmetini kaldırın:

$ sudo systemctl stop ollama
$ sudo systemctl disable ollama
$ sudo rm /etc/systemd/system/ollama.service

Son olarak, Ollama ikili dosyasını “/bin” dizininden, kullanıcıdan, gruptan ve diğer şeylerden kaldırın:

$ sudo rm $(which ollama)
$ sudo rm -r /usr/share/ollama
$ sudo userdel ollama
$ sudo groupdel ollama

Bu kadar,

Yazının orijinalini buradan okuyabilirsiniz.

Hüseyin GÜÇ

Kariyerime 26 yıl önce başladım. Windows ve Linux sistemlerinin kurulumu, yapılandırılması, yönetimi ve bakımı dahil olmak üzere birden fazla sistem üzerinde uzmanlaştım.
Açık kaynak dünyasındaki en son gelişmelerden haberdar olmaktan ve Linux hakkındaki en son araçları, özellikleri ve hizmetleri denemekten hoşlanıyorum.
Son 6 yıldır  sistem ve ağ yöneticisi olarak görev yapıyorum ayrıca Pardus Dönüşüm Projesini yönetiyorum ve Pardus İşletim Sisteminin yaygınlaşması adına uğraş gösteriyorum.
Boş zamanlarımda açık kaynaklı uygulamaların Türkçe çevirisine katılıyorum ve The Document Foundation üyesiyim.