“`html

Bilgisayar Kullanım Ajanları (BKA’lar) alanında çığır açan bir gelişme yaşanıyor. Hong Kong Üniversitesi (HKÜ) ve işbirliği içindeki kurumlar tarafından geliştirilen OpenCUA adlı yeni bir açık kaynaklı çerçeve, bilgisayarları kullanabilen güçlü yapay zeka (YZ) ajanlarının oluşturulması için bir temel sunuyor. Bu çerçeve, özellikle kurumsal dünyada iş akışlarını otomatikleştirebilme potansiyeli taşıyor. Bu makalede, OpenCUA’nın getirdiği yenilikler, sağladığı faydalar ve gelecekte bu teknolojinin iş dünyasını nasıl şekillendirebileceği incelenecek. Bu yeni çerçeve, mevcut açık kaynak modellerini geride bırakırken, OpenAI ve Anthropic gibi önde gelen YZ laboratuvarlarının kapalı devre ajanlarıyla rekabet edebilecek seviyede performans sergiliyor. Bu durum, BKA’ların gelişiminde yeni bir dönemin başlangıcını işaret ediyor. Makale, OpenCUA’nın nasıl çalıştığı, veri toplama yöntemleri, eğitim süreçleri ve potansiyel uygulamaları üzerine odaklanacak.

OpenCUA: Bilgisayar Kullanım Ajanları İçin Yeni Bir Dönem

Bilgisayar kullanım ajanları (BKA’lar), web sitelerinde gezinmekten karmaşık yazılımları çalıştırmaya kadar bilgisayarda çeşitli görevleri özerk olarak tamamlamak üzere tasarlanmıştır. Bu ajanlar, kurumsal iş akışlarını otomatikleştirmede önemli bir rol oynayabilirler. Ancak, mevcut en yetenekli BKA sistemlerinin çoğu, eğitim verileri, mimarileri ve geliştirme süreçleri gibi kritik detayları gizli tutulan tescilli sistemlerdir. Bu durum, teknik ilerlemeleri sınırlandırırken, güvenlik endişelerini de beraberinde getirmektedir. Bu bağlamda, araştırmacılar, şeffaflığı artırmak ve BKA’ların yeteneklerini, sınırlamalarını ve risklerini incelemek için açık kaynaklı çerçevelerin önemine dikkat çekiyorlar.

Veri Toplama ve Eğitimde Çözüm: OpenCUA

OpenCUA, bu zorlukların üstesinden gelmek için hem veri toplama hem de modellerin ölçeklendirilmesini hedefleyen bir açık kaynaklı çerçevedir. Çerçevenin temelinde, farklı işletim sistemlerinde bilgisayar görevlerinin insan gösterimlerini kaydetmek için kullanılan AgentNet Aracı yer alır. Bu araç, bir kullanıcının kişisel bilgisayarında arka planda çalışarak ekran videoları, fare ve klavye girişleri ile ekrandaki öğeler hakkında yapılandırılmış bilgiler sağlayan erişilebilirlik ağacını yakalayarak veri toplamayı kolaylaştırır. Ham veriler daha sonra, bir bilgisayar ekranının görüntüsünü (durum) kullanıcının ilgili eylemiyle (tıklama, tuşa basma vb.) eşleştiren “durum-eylem yörüngeleri” haline getirilir. Anotasyon yapanlar daha sonra bu gösterimleri inceleyebilir, düzenleyebilir ve gönderebilirler.

Araştırmacılar, bu aracı kullanarak, Windows, macOS ve Ubuntu’da 200’den fazla uygulama ve web sitesini kapsayan 22.600’den fazla görev gösterimini içeren AgentNet veri setini topladılar. Bu veri seti, “kullanıcıların kişisel bilgisayar ortamlarından insan davranışlarının ve çevresel dinamiklerin karmaşıklığını otantik bir şekilde yakalar.” Ekran kayıt araçlarının kurumsal veri gizliliği konusunda endişeler yaratabileceğini kabul eden araştırmacılar, AgentNet Aracını güvenlik odaklı tasarladılar. Veriler, gönderilmeden önce gizlilik sorunları için manuel olarak doğrulanır ve hassas içerikleri tespit etmek için büyük bir model tarafından otomatik olarak taranır. Bu çok katmanlı süreç, hassas müşteri veya finansal verileri işleyen ortamlar için kurumsal düzeyde sağlamlık sağlar.

Yeni Bir Eğitim Yaklaşımı: Zincir-Düşünce (CoT)

OpenCUA çerçevesi, verileri işlemek ve bilgisayar kullanım ajanlarını eğitmek için yenilikçi bir yöntem sunar. İlk adım, ham insan gösterimlerini, vizyon-dil modellerini (VDM’ler) eğitmek için uygun temiz durum-eylem çiftlerine dönüştürmektir. Ancak, araştırmacılar, sadece bu çiftler üzerinde model eğitmenin, büyük miktarda veriyle bile sınırlı performans artışları sağladığını buldular. Kilit nokta, bu yörüngeleri zincir-düşünce (CoT) muhakemesi ile güçlendirmekti. Bu süreç, her eylem için planlama, hafıza ve yansımayı içeren ayrıntılı bir “iç monolog” oluşturur. Bu yapılandırılmış muhakeme, üç seviyede düzenlenir: ekranın üst düzey bir gözlemi, durumu analiz eden ve sonraki adımları planlayan yansıtıcı düşünceler ve son olarak, yürütülebilir kısa bir eylem. Bu yaklaşım, ajanın görevleri daha derinlemesine anlamasına yardımcı olur.

Araştırmacılar, doğal dil muhakemesinin, genellenebilir bilgisayar kullanım temel modelleri için çok önemli olduğunu ve BKA’ların bilişsel yetenekleri içselleştirmesine yardımcı olduğunu belirtiyorlar. Bu veri sentez hattı, şirketlerin kendi benzersiz dahili araçları üzerinde ajanları eğitmek için uyarlayabilecekleri genel bir çerçevedir. Bir şirket, kendi tescilli iş akışlarının gösterimlerini kaydedebilir ve aynı “yansıtıcı” ve “oluşturucu” hattı kullanarak gerekli eğitim verilerini oluşturabilir. Bu, manuel olarak muhakeme izleri oluşturmaya gerek kalmadan, iç araçlarına göre uyarlanmış, yüksek performanslı bir ajanı hızla başlatmalarına olanak tanır.

Sonuç: İş Dünyasında Dönüşümün Eşiğinde

OpenCUA çerçevesinin uygulanması, farklı mimarilere (hem yoğun hem de uzman karışımı) ve boyutlara sahip modellerin performansını artırır. Eğitilmiş ajanlar, çeşitli görevlerde ve işletim sistemlerinde iyi performans göstererek güçlü bir genelleme yeteneği de sergiler. Bu çerçeve, özellikle tekrarlayan, emek yoğun kurumsal iş akışlarını otomatikleştirmek için uygundur. Örneğin, AgentNet veri setinde, Amazon AWS’de EC2 örneklerini başlatma ve MTurk’te anotasyon parametrelerini yapılandırma gibi görevlerin birkaç gösterimi zaten yakalanmıştır. Bu görevler, birçok ardışık adım içerir ancak tekrarlanabilir desenleri takip eder.

Ancak, canlı kullanıma geçişin, güvenlik ve güvenilirlik ile ilgili önemli zorlukların ele alınmasını gerektirdiği belirtiliyor. Gerçek uygulamada en büyük zorluk, ajanın, sistem ayarlarını istemeden değiştirebilecek veya amaçlanan görevin ötesinde zararlı yan etkiler tetikleyebilecek hatalardan kaçınmasıdır. Araştırmacılar, modelleri için kodu, veri setini ve ağırlıkları yayınladılar. OpenCUA gibi çerçeveler üzerine inşa edilen açık kaynaklı ajanlar daha yetenekli hale geldikçe, bilgi çalışanları ile bilgisayarları arasındaki ilişkiyi temelden değiştirebilirler. Gelecekte, karmaşık yazılımlarda yetkinliğin, hedefleri bir YZ ajanı ile açıkça ifade etme yeteneğinden daha az önemli hale geleceği öngörülüyor. Bu durum, “çevrimdışı otomasyon” (ajanın bir görevi uçtan uca gerçekleştirmek için daha geniş yazılım bilgisinden yararlanması) ve “çevrimiçi işbirliği” (ajanın gerçek zamanlı olarak yanıt vermesi ve bir meslektaş gibi insanla yan yana çalışması) olmak üzere iki temel çalışma modu sunacak. Temelde, insanlar stratejik “ne”yi sağlarken, giderek gelişen YZ ajanları operasyonel “nasıl”ı yönetecek.

“`