CoAct-1: YZ Ajanları Kod ve GUI’yi Birleştiriyor

CoAct-1 ile tanışın: Kodlama ve GUI’nin gücü birleşiyor! Yapay zeka ajanları, iş akışlarını dönüştürerek verimliliği artırıyor.

Haberler İnovasyon

12.08.2025

A⁺

A^-

## Giriş

Günümüzün hızla gelişen yapay zeka (YZ) dünyasında, bilgisayar arayüzlerini (GUI) yönetebilen ve görevleri otomatikleştirebilen YZ ajanları, iş akışlarını dönüştürme potansiyeline sahip. Salesforce ve Güney Kaliforniya Üniversitesi araştırmacıları tarafından geliştirilen CoAct-1 (Eylemler Olarak Kodlama ile Bilgisayar Kullanım Ajanı) adlı yeni bir teknik, GUI’lerde gezinirken kod yürütme yeteneği kazandırarak bu alanda çığır açıyor. Bu hibrit yaklaşım, daha hızlı iş akışları ve daha az hata sağlayarak, fare tıklamalarının yerini kodlamayla daha verimli bir şekilde almayı hedefliyor. Bu makalede, CoAct-1’in nasıl çalıştığını, mevcut YZ ajanlarının zorluklarını nasıl aştığını ve işletmeler için ne gibi potansiyel faydalar sunduğunu inceleyeceğiz. Aynı zamanda, bu teknolojinin gerçek dünya uygulamalarında karşılaştığı zorluklara ve insan gözetiminin önemine de değineceğiz.

## Kodlama ve GUI’nin Güçlerinin Birleşimi: CoAct-1’in Yapısı

CoAct-1, GUI’de gezinme yetenekleri ile kodun hassasiyetini birleştiren üç özel ajandan oluşan bir ekip olarak tasarlanmıştır. Bu ekip, kullanıcının yüksek seviyedeki hedefini analiz eden, alt görevlere ayıran ve her bir alt görevi en uygun ajana atayan bir **Orkestratör**’den oluşur. Orkestratör, dosya yönetimi veya veri işleme gibi arka uç işlemleri için Python veya Bash komut dosyaları yazan ve çalıştıran **Programcı**’ya ve düğmelere tıklama veya görsel arayüzlerde gezinme gibi ön uç görevler için VLM (Görsel Dil Modeli) tabanlı bir **GUI Operatörü**’ne görev verir. Bu dinamik görevlendirme, CoAct-1’in, uygun olduğunda, tek seferlik kod yürütmeyi tercih ederek verimsiz GUI dizilerini stratejik olarak atlamasına olanak tanır. Bu, özellikle uzun ve karmaşık iş akışlarında ve yoğun menüler içeren uygulamalarda, örneğin ofis üretkenlik paketlerinde, performans artışı sağlar.

## Otomasyonda Verimlilik: Daha Az Adımda Daha Fazla Başarı

CoAct-1’in başarısı, verimliliğinin ve daha az sayıda adımla görevleri tamamlayabilmesinin bir sonucudur. Araştırmacılar, CoAct-1’i, tarayıcılar, IDE’ler ve ofis uygulamaları dahil olmak üzere 369 gerçek dünya görevini içeren kapsamlı bir kıyaslama olan OSWorld üzerinde test ettiler. Sonuçlar, CoAct-1’in %60,76’lık bir başarı oranı elde ederek, programlama kontrolünün belirgin bir avantaj sağladığı görevlerde, özellikle işletim sistemi düzeyindeki görevler ve çoklu uygulama iş akışlarında önemli kazanımlar sağladığını gösterdi. Örneğin, karmaşık bir klasör yapısındaki tüm resim dosyalarını bulmak, yeniden boyutlandırmak ve ardından tüm dizini tek bir arşivde sıkıştırmak gibi bir OS görevi ele alındığında, CoAct-1 bu görevi Programcı ajanı aracılığıyla tek bir sağlam komut dosyasıyla gerçekleştirebilirken, tamamen GUI tabanlı bir ajan, uzun ve hatalı bir dizi tıklama ve sürükleme işlemi uygulamak zorunda kalacaktı.

## İşletmeler İçin Potansiyel Uygulamalar ve Zorluklar

CoAct-1’in teknolojisi, genel üretkenliğin ötesinde, özellikle API erişiminin bir lüks olduğu, garanti edilmediği karmaşık, çok araçlı süreçleri otomatikleştirmek isteyen işletmeler için önemli bir potansiyele sahip. Salesforce’da Uygulamalı YZ Araştırma Direktörü olan Ran Xu, müşteri desteğini bu potansiyele örnek olarak gösteriyor. Bir hizmet destek ajanı, bir müşteri talebini araştırmak ve bir yanıt oluşturmak için Salesforce gibi genel araçların yanı sıra sağlık hizmetleri için EPIC gibi sektöre özgü araçlar ve birçok özelleştirilmiş araç kullanır. Xu’ya göre, bu senaryo, API’ler, kod veya sadece ekran fark etmeksizin, bilgisayardan mevcut olan her şeyden yararlanan bir bilgisayar kullanım ajanı için mükemmel bir kullanım örneğidir. Satışta ölçekli potansiyel müşteriler bulma, muhasebeyi otomatikleştirme ve pazarlamada müşteri segmentasyonu ve kampanya varlıkları oluşturma gibi yüksek değerli uygulamalar da öngörülüyor. Ancak, CoAct-1’in kurumsal ortamlarda karşılaşacağı zorluklar da mevcut.

## Sonuç: İnsan-Makine İşbirliği ve Gelecek

Sonuç olarak, CoAct-1, kodlama ve GUI etkileşimlerini birleştirerek YZ ajanlarının yeteneklerini önemli ölçüde artıran bir atılım sunmaktadır. Ancak, bu teknolojinin gerçek dünya uygulamalarında başarılı bir şekilde kullanılabilmesi için bazı önemli zorlukların üstesinden gelinmesi gerekiyor. Özellikle, Orkestratör’ün bilinmeyen uygulamalarla karşılaştığında doğru seçimler yapmasını sağlamak ve Programcı ajanı tarafından yürütülen kodun güvenliğini sağlamak kritik öneme sahip. Bununla birlikte, CoAct-1 gibi teknolojiler, işletmelerin karmaşık iş akışlarını otomatikleştirmesi, verimliliği artırması ve insan hatalarını azaltması için önemli bir potansiyele sahip. Ancak, bu potansiyelin tam olarak gerçekleştirilebilmesi için, insan gözetimi ve güvenliğin sağlanması kritik öneme sahiptir. Gelecekte, YZ ajanları daha fazla otonomi kazanabilirken, yüksek riskli operasyonlar için insan onayı hala gerekli olacaktır. Bu nedenle, CoAct-1 gibi sistemlerin, insan-makine işbirliğinin en iyi örneklerini temsil etmesi ve gelecekte de bu işbirliğini desteklemesi beklenmektedir.