LLM faturasını üçte bire indiren beş karar
Model seçimi, bağlam yönetimi, önbellekleme ve toplu işlem. Doğruluktan ödün vermeden maliyeti düşüren uygulamalı yöntemler.
- Yazar
- DijitalBudur
- Yayın
- Güncelleme
- —
- Süre
- 7 dk
Canlıya alınan sistemlerde model maliyeti genellikle ilk aydan sonra fark ediliyor. İyi haber şu: maliyetin büyük bölümü doğruluktan ödün vermeden düşürülebiliyor.
Her görev en büyük modeli hak etmiyor
Sınıflandırma, etiketleme ve biçimlendirme gibi işler küçük modellerle aynı kalitede yapılabiliyor. Büyük modeli yalnızca akıl yürütme gerektiren adımlara saklamak, tek başına ciddi bir fark yaratıyor.
Bağlamı budayın
Her isteğe tüm geçmişi ve tüm dokümanı göndermek kolaydır ama pahalıdır. İlgili parçayı seçip gönderen bir katman, hem maliyeti hem gecikmeyi düşürüyor, çoğu zaman doğruluğu da artırıyor.
- Görev başına model seçimi yapın, tek model dayatmayın
- Sabit talimatları önbelleğe alın
- Acil olmayan işleri toplu çalıştırın
- Tekrarlayan sorgular için yanıt önbelleği kurun
- Maliyeti günlük izleyin; aylık fatura geç bir uyarıdır
Bu beş kararı birlikte uyguladığımız projelerde model maliyeti tipik olarak üçte bire kadar iniyor.
- Model maliyeti neye göre hesaplanıyor?
- Gönderilen ve üretilen belirteç (token) sayısına göre. Bu yüzden bağlamı budamak, aynı işi daha ucuza yaptırmanın en doğrudan yolu; modelin kendisini değiştirmeden de ciddi tasarruf çıkar.
- Maliyeti düşürmek doğruluğu düşürür mü?
- Zorunlu değil. Görev başına doğru modeli seçmek ve bağlamı ilgili parçayla sınırlamak çoğu zaman doğruluğu artırıyor, çünkü model daha az gürültüyle çalışıyor. Doğruluğu düşüren şey, ölçüm yapmadan körlemesine küçük modele geçmek.