Ujian Vals AI dapati pasukan ejen AI kos sehingga 5 kali ganda, jarang hasilkan app lebih baik

Semakin banyak alat pengekodan AI membolehkan satu ejen membahagikan kerja kepada beberapa pembantu yang bekerja serentak. Claude Code ada subagent dan agent teams, manakala Codex CLI daripada OpenAI mendapat paparan /agents di DevDay bulan lalu. Satu kajian yang diterbitkan pada 9 Oktober oleh Vals AI, syarikat yang menguji dan membandingkan prestasi model AI, menyemak sama ada pasukan ejen sebegini benar-benar membina aplikasi yang lebih baik.

Dalam penanda aras mereka, jawapannya biasanya tidak. Kos pasukan 1.8 hingga 5.1 kali ganda berbanding satu ejen, dan hanya satu daripada empat susunan pasukan mencatat skor yang ketara lebih tinggi. Jika anda membayar penggunaan AI mengikut token, dalam ringgit, perbezaan ini boleh jadi besar.

Cara ujian dijalankan

Vals AI menggunakan Vibe Code Bench, penanda aras mereka sendiri yang meminta AI membina aplikasi web lengkap berdasarkan spesifikasi produk. Kajian ini melibatkan 50 aplikasi. Setiap aplikasi dilancarkan menggunakan Docker Compose, kemudian dinilai oleh ejen pelayar yang mengklik setiap aliran kerjanya. Skor ialah peratusan ujian antara muka yang lulus bagi setiap aplikasi, dipuratakan bagi kesemua 50.

Dua model diuji, iaitu GPT 6 Sol daripada OpenAI dan Claude Opus 5.5 daripada Anthropic. Setiap satu bekerja bersendirian dan sebagai pasukan, pada tahap usaha penaakulan sederhana dan maksimum, menjadikan lapan susunan semuanya. Dalam mod pasukan, ejen ketua boleh memulakan sehingga lima subagent pada satu masa, dan subagent tidak boleh memulakan subagent sendiri.

Keputusan

Nilai ringgit ialah tukaran kami pada kadar kira-kira RM4.08 bagi setiap dolar AS, iaitu kadar pada awal Oktober.

Apa yang ditunjukkan angka ini

• Hanya satu peningkatan jelas. Sol pada usaha sederhana mencatat skor 7.3 mata lebih tinggi apabila bekerja sebagai pasukan. Menurut Vals, tiga perbezaan lain, iaitu antara penurunan 0.3 mata hingga kenaikan 3.4 mata, tidak signifikan dari segi statistik.
• Bagi Sol, usaha lebih tinggi lebih berkesan daripada pasukan. Sol yang bekerja bersendirian pada usaha maksimum menambah 11.4 mata berbanding Sol bersendirian pada usaha sederhana, lebih banyak daripada apa yang dicapai pasukan.
• Opus hampir tidak berubah. Pasukan mahupun usaha yang lebih tinggi tidak membawa perbezaan signifikan bagi Opus. Apabila membandingkan susunan paling mahal, iaitu pasukan pada usaha maksimum, dengan susunan paling murah, iaitu ejen tunggal pada usaha sederhana, Vals mengukur kenaikan 1.6 mata pada kos kira-kira 30 kali ganda, dan tidak mendapati jurang itu signifikan.
• Kelajuan berbeza mengikut model. Pasukan Sol siap lebih cepat berbanding Sol bersendirian. Pasukan Opus pula mengambil masa lebih lama, sehingga 2.3 kali ganda pada usaha maksimum.

Cara setiap model mengurus pasukannya

Kedua-dua ejen ketua bekerja dengan cara berbeza. Ketua Sol memecahkan setiap aplikasi mengikut seni binanya dan mencipta semua subagent dalam masa kira-kira seminit pada usaha sederhana. Ia juga menjalankan ujian pelayar sendiri, yang menurut Vals berjaya mengesan ketidakpadanan yang hanya muncul apabila bahagian yang dibina berasingan digabungkan.

Ketua Opus pula menulis fail CONTRACT.md terlebih dahulu, yang menetapkan skema pangkalan data, laluan API dan fail mana dimiliki oleh ejen mana. Kemudian ia memulakan subagent secara berperingkat: pembina, diikuti ejen ciri, kemudian penguji dan penyemak pada usaha maksimum. Pada usaha maksimum, ia menggunakan 6.8 subagent bagi setiap aplikasi, berbanding 4.2 pada usaha sederhana.

Pasukan Sol meraih peningkatan paling besar pada aplikasi yang lebih sukar, kira-kira 15 mata, berbanding kira-kira 1 mata pada aplikasi yang lebih mudah. Kenaikan terbesarnya berlaku pada aplikasi yang ciri-cirinya tertinggal apabila dibina oleh ejen tunggal.

Had kajian

Vals menegaskan setiap susunan hanya dijalankan sekali, dan kedua-dua model menggunakan harness yang berbeza, jadi perbandingan antara model turut dipengaruhi harness. Menurut Vals, keputusan ini juga "mungkin tidak terpakai untuk jenis kerja lain". Vals menjangka pasukan ejen paling berguna untuk kerja yang mudah dipecahkan kepada bahagian yang boleh berjalan serentak, seperti pangkalan kod yang besar.

Maksudnya jika anda membuat vibe coding

Kesimpulan Vals sendiri ialah "tiada pilihan yang jelas menjadi pilihan lalai", dan keputusan wajar dibuat berdasarkan model, tugasan dan bajet. Bagi aplikasi web kecil seperti dalam ujian ini, angka mereka mencadangkan anda mencuba satu ejen dahulu, dan menaikkan tahap usaha penaakulan sebelum membayar untuk satu pasukan.

Sumber

• Vals AI, Do Agent Teams Pay Off? A Case Study on Vibe Code Bench, 9 Oktober 2026
• Claude Code Docs, Create custom subagents, disemak 13 Oktober 2026
• OpenAI, DevDay 2026 Recap, 29 September 2026
• New Straits Times, Ringgit opens higher against major currencies, lower versus greenback, 1 Oktober 2026