Son dönemde Microsoft ve Uber gibi teknoloji devlerinin de acı bir şekilde tecrübe ettiği üzere, mühendisleri agresif bir şekilde yapay zeka kullanmaya teşvik etmek, çalışanların işten çıkarılmasıyla elde edilen tasarrufu bile sıfırlayabilecek devasa API faturalarını beraberinde getiriyor. Ancak Netflix cephesinde bu faturalar o kadar da korkutucu olmayabilir. Şirketin kıdemli mühendislerinden Tejas Chopra, komutları Büyük Dil Modellerine (LLM) ulaşmadan önce “budayarak” token kullanımını minimize eden yeni bir yazılım geliştirdi.
Chopra’nın araştırmalarına göre, yapay zeka modellerine gönderilen token’ların yaklaşık %90’ı aslında gereksiz tekrarlardan oluşuyor. Resmi bir Netflix projesi olmamasına rağmen şirket içindeki pek çok ekip ve dışarıdaki bağımsız projeler şimdiden Project Headroom adını taşıyan bu aracı kullanmaya başladı. Geçtiğimiz hafta Open Source Summit‘te bir sunum yapan Chopra, sadece Ocak ayında piyasaya sürülen uygulamanın kullanıcılara şimdiden 700.000 dolar tasarruf sağladığını belirtti. GitHub‘da kısa sürede büyük ilgi gören açık kaynaklı proje, yapay zeka maliyetlerinden canı yanan geliştiricilerin imdadına yetişti.
Bu yenilikçi fikrin ortaya çıkış hikayesi ise Chopra’nın kendi ev projesi için kullandığı Claude Sonnet‘ten gelen 287 dolarlık sürpriz bir faturaya dayanıyor. İncelemeleri sonucunda, modele gönderilen verilerin büyük bir kısmının (özellikle gereksiz uzun JSON şemaları ve birbirinin aynısı veritabanı sütunları gibi meta verilerin) LLM için tamamen gereksiz olduğunu fark etmiş. Pazarda token sıkıştırma hizmeti veren farklı girişimler olsa da Headroom, doğrudan geliştiricinin bilgisayarında çalışması ve “geri dönüştürülebilir sıkıştırma” sunmasıyla öne çıkıyor. Yani araç, veriyi modele gitmeden önce sıkıştırıyor ancak LLM ihtiyaç duyduğunda orijinal bağlama (orijinal metne) tekrar ulaşabiliyor.
Gereksiz verileri filtrelemek sadece şirketlerin kasasını korumakla kalmıyor, aynı zamanda yapay zeka modellerinin performansını da ciddi oranda artırıyor. Stanford Üniversitesi’nin yaptığı araştırmalara göre, modellere gereğinden fazla bağlam sunmak yapay zekanın “dikkatini dağıtıyor” ve sektörde “bağlam çürümesi” (context rot) adı verilen bir kafa karışıklığına yol açıyor. Headroom ile gereksiz bilgi yığınından kurtulan yapay zeka ajanları, hem sorulara çok daha düşük gecikme süresiyle (latency) yanıt veriyor hem de veri merkezlerindeki enerji tüketimini azaltarak çevreye katkı sağlıyor.