Merhaba arkadaşlar,
Son dönemde Ollama ve LM Studio gibi araçlarla yerel büyük dil modelleri (LLM) çalıştırmayı deneyen çok kişi var. Ben de bu araçları kullanarak farklı model boyutlarını test etmeye çalışıyorum ancak donanım tarafında ciddi sınırlara takılıyorum. Özellikle 7B, 13B ve 70B gibi model boyutlarında; quantization (4-bit, 5-bit, 8-bit) seviyelerine göre bellek ihtiyacı, GPU VRAM yetersizliği, CPU üzerinden çalıştırma performansı ve RAM miktarı gibi konularda net bir rehber bulmakta zorlanıyorum.
Sizlerden ricam, kendi sistemlerinizde yaşadığınız gerçek deneyimleri paylaşmanız. Örneğin:
- Hangi işletim sistemi ve donanım konfigürasyonunu kullanıyorsunuz? (CPU modeli, RAM miktarı, GPU modeli ve VRAM)
- Ollama veya LM Studio ile hangi model ailelerini ve boyutlarını denediniz? (Llama, Mistral, Gemma, Phi vb.)
- Hangi quantization seviyelerinde başarılı oldunuz, hangilerinde hata veya aşırı yavaşlık aldınız?
- Özellikle GPU'ya sığmayan modellerde CPU'ya offload ettiğinizde token/sn hızınız ne oldu?
- RAM yetersizliği nedeniyle swap kullanımı yaşadınız mı? Bu durumda sistem kararlılığı nasıl etkilendi?
- Model yüklerken bellek yetersizliği hatası aldığınızda nasıl bir çözüm ürettiniz? (Daha küçük model, daha düşük quantization, parametre ayarı vb.)
Ayrıca, dizüstü bilgisayar kullanıcıları için ısınma ve pil tüketimi gibi ek sınırlamalar da var. Masaüstü ile dizüstü arasında ne gibi farklar gözlemlediniz?
Amacım, topluluk olarak hangi donanım sınıfında hangi model boyutlarının gerçekçi olduğunu ortaya koymak. Lütfen deneyimlerinizi paylaşırken model adı, parametre sayısı, quantization ve donanım detaylarını belirtin. Böylece yeni başlayanlar için de yol gösterici bir kaynak oluşabilir.
Şimdiden teşekkürler.