MBP-Evren: YZ Modellerini Gerçek Dünyada Değerlendirmek

## Giriş

Günümüzün hızla gelişen yapay zeka (YZ) dünyasında, Büyük Dil Modellerinin (BDM) gerçek dünya uygulamalarındaki performansı, kapsamlı ve güvenilir değerlendirmeler gerektirmektedir. Bu bağlamda, Model Bağlam Protokolü (MBP) gibi birlikte çalışabilirlik standartlarını benimsemek, işletmelere ajanların ve modellerin kendi sınırlarının ötesinde nasıl çalıştığına dair içgörüler sunmaktadır. Ancak, mevcut ölçütlerin çoğu MBP ile gerçek hayattaki etkileşimleri yakalamakta yetersiz kalmaktadır. Salesforce AI Research, bu eksikliği gidermek amacıyla, YZ modellerinin işletmelerin kullandığı araçlarla gerçek zamanlı etkileşimlerini daha iyi yansıtan, yeni bir açık kaynaklı ölçüt olan MBP-Evren’i geliştirdi. Bu makalede, MBP-Evren’in yapısı, işleyişi ve büyük dil modellerinin gerçek dünya görevlerindeki performansını değerlendirmedeki önemi incelenecektir. Ayrıca, bu yeni ölçütün YZ alanındaki araştırmacılar ve işletmeler için taşıdığı potansiyel ve gelecekteki uygulamalar tartışılacaktır.

## MBP-Evren’in Doğuşu: Gerçek Dünya Senaryolarına Odaklanmak

Salesforce AI Research tarafından geliştirilen MBP-Evren, mevcut ölçütlerin YZ modellerinin performansını izole edilmiş ortamlarda değerlendirme eğiliminin yarattığı boşluğu doldurmayı amaçlamaktadır. Geleneksel ölçütler, genellikle talimat takibi, matematiksel muhakeme veya işlev çağırma gibi belirli yeteneklere odaklanırken, modellerin çeşitli gerçek dünya MBP sunucularıyla nasıl etkileşime girdiği konusunda kapsamlı bir değerlendirme sunmamaktadır. MBP-Evren, modellerin araç kullanımı, çok aşamalı araç çağrıları, uzun bağlam pencereleri ve geniş araç alanları aracılığıyla performansını ölçmektedir. Bu ölçüt, coğrafi konumlandırma, depo yönetimi, finansal analiz, 3D tasarım, tarayıcı otomasyonu ve web araması gibi işletmeler tarafından kullanılan temel alanları kapsamaktadır.

MBP-Evren’in geliştirilmesindeki temel motivasyonlardan biri, mevcut YZ modellerinin uzun bağlam zorlukları ve bilinmeyen araçlarla başa çıkma konusundaki sınırlamalarını belirlemektir. Uzun bağlam zorlukları, modellerin uzun ve karmaşık girdileri işlerken bilgileri takip etmekte veya tutarlı bir şekilde muhakeme yapmakta zorlanmasına neden olabilir. Bilinmeyen araç zorlukları ise modellerin, insanların anında uyum sağladığı gibi, aşina olmadıkları araçları veya sistemleri sorunsuz bir şekilde kullanamamasıdır. Bu nedenle, MBP-Evren, geliştiricilerin ve araştırmacıların YZ modellerini gerçek dünya görevleri için optimize etmelerine yardımcı olacak daha gerçekçi bir değerlendirme aracı sunmaktadır.

## MBP-Evren’in İşleyişi ve Değerlendirme Metodolojisi

MBP-Evren, YZ modellerinin işletmeler tarafından gerçekleştirilen görevleri taklit eden bir dizi görevde ne kadar iyi performans gösterdiğini değerlendirir. Bu görevler, coğrafi muhakemeden (Google Haritalar MBP sunucusu ile) finansal piyasa analizine (Yahoo Finance MBP sunucusu ile) kadar geniş bir yelpazede uzanmaktadır. Model, her bir etki alanı için tasarlanan bir dizi görevde değerlendirilir. Örneğin, bir modelden rota planlaması, en uygun durakların belirlenmesi ve ardından varış noktasının bulunması gibi bir hedefi gerçekleştirmesi istenir.

MBP-Evren’in değerlendirme metodolojisi, YZ modellerinin performansını ölçmek için titiz bir yaklaşım benimser. Araştırmacılar, modellerin performansını değerlendirmek için üç tür değerlendirici kullanır: biçim değerlendiriciler, statik değerlendiriciler ve dinamik değerlendiriciler. Biçim değerlendiriciler, ajanların ve modellerin biçim gereksinimlerini takip edip etmediğini kontrol ederken, statik değerlendiriciler zaman içindeki doğruluğu değerlendirir. Dinamik değerlendiriciler ise uçuş fiyatları veya GitHub sorunları gibi değişen cevapları değerlendirir. Bu değerlendirme yaklaşımı, modellerin karmaşık senaryolarda nasıl performans gösterdiğini daha iyi anlamak için tasarlanmıştır.

MBP-Evren, yürütmeye dayalı bir değerlendirme paradigması kullanmaktadır. Bu yöntem, LLM-as-a-judge (LLM-bir-yargıç olarak) yaklaşımından farklıdır. Çünkü bazı görevler gerçek zamanlı verileri kullanmak üzere tasarlanmıştır ve LLM yargıcının bilgisi statiktir. Salesforce araştırmacıları, bu yaklaşımın MBP-Evren’in gerçek dünya senaryolarını daha doğru bir şekilde yansıttığına inanmaktadır.

## Test Sonuçları ve Gelecek Perspektifleri

MBP-Evren ile yapılan testler, popüler YZ modellerinin gerçek dünya görevlerindeki performansını değerlendirmek için önemli içgörüler sunmuştur. Test edilen modeller arasında GPT-5, Grok-4, Claude-4 Sonnet ve çeşitli açık kaynak modeller bulunmaktadır. Sonuçlar, GPT-5’in özellikle finansal analiz görevlerinde en iyi başarı oranına sahip olduğunu göstermiştir. Grok-4, tarayıcı otomasyonunda tüm modelleri geride bırakırken, Claude-4 Sonnet ilk üçte yer almıştır. Açık kaynak modeller arasında ise GLM-4.5 en iyi performansı sergilemiştir.

Ancak, MBP-Evren’in testleri, modellerin uzun bağlamları yönetmekte zorlandığını ve bilinmeyen araçlarla karşılaştıklarında performanslarının düştüğünü de ortaya koymuştur. Bu durum, YZ modellerinin uzun ve karmaşık görevlerdeki uygulanabilirliğini sınırlayan önemli bir engel olarak karşımıza çıkmaktadır. Salesforce araştırmacıları, bu bulguların, mevcut YZ modellerinin çeşitli gerçek dünya görevlerinde güvenilir bir şekilde performans göstermede hala yetersiz kaldığını vurguladığını belirtmektedir.

## Sonuç

MBP-Evren, YZ modellerinin gerçek dünya uygulamalarındaki performansını değerlendirmek için önemli bir araçtır. Bu ölçüt, YZ alanındaki araştırmacılar ve işletmeler için, modellerin uzun bağlam zorlukları ve bilinmeyen araçlarla başa çıkma konusundaki sınırlamalarını belirlemek için değerli içgörüler sunmaktadır. Test sonuçları, mevcut YZ modellerinin hala geliştirilmesi gereken alanları olduğunu ve gerçek dünya görevlerinde daha güvenilir hale getirilmesi gerektiğini göstermektedir.

MBP-Evren, aynı zamanda YZ geliştiricileri için bir platform sunmaktadır. Araştırmacılar ve işletmeler, MBP-Evren’i kullanarak kendi YZ sistemlerinin performansını değerlendirebilir ve modellerini gerçek dünya senaryolarına daha iyi uyacak şekilde optimize edebilirler. Bu, YZ modellerinin geliştirilmesinde daha gerçekçi ve pratik bir yaklaşımın benimsenmesine yardımcı olacaktır. Gelecekte, MBP-Evren’in YZ alanındaki gelişmeleri hızlandıracağı ve işletmelerin YZ teknolojilerini daha etkili bir şekilde kullanmalarına olanak sağlayacağı düşünülmektedir. Özellikle, YZ modellerinin daha karmaşık ve çeşitli görevleri yerine getirmesi beklentisiyle, MBP-Evren gibi araçların önemi artacaktır. Bu sayede YZ alanındaki inovasyonların artması ve gerçek dünya uygulamalarının gelişmesi hedeflenmektedir.