論文の概要: Measuring AI Agents as Teammates with Collaborative Intelligence

• arxiv url: http://arxiv.org/abs/2611.02633v1
• Date: Mon, 02 Nov 2026 06:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 20:05:33.689857
• Title: Measuring AI Agents as Teammates with Collaborative Intelligence
• Title（参考訳）: 協力的知性を備えたチームメイトとしてのAIエージェントの測定
• Abstract要約: コラボレーションインテリジェンスベンチマークは、AIエージェントがチームメイトとしてどのように機能するかを測定する。 チームワークの8次元にわたる240のタスクが含まれており、安全でないショートカットを拒否するから、弱いモデルが残した作業をチェックするまでである。 私たちは18のクローズドおよびオープンウェイトモデルを評価し、サイズや家族を問わず、すべてのモデルがチームメイトとして明確な弱点を持っていることに気付きました。
• 参考スコア（独自算出の注目度）: 32.22835042457337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Progress in AI is often measured by what a single model can do on its own. Yet teams of AI agents are starting to make breakthroughs and discoveries in science, medicine, mathematics and software engineering. As AI begins to work in teams of agents and people, the ability to collaborate becomes a core part of their intelligence. Research on human teams has measured this ability for decades. Inspired by this, we introduce the Collaborative Intelligence Benchmark, which measures how well an AI agent works as a teammate. It contains 240 tasks across 8 dimensions of teamwork, from refusing an unsafe shortcut to checking the work that a weaker model leaves behind. Each task comes from a real record or an existing benchmark, from aviation accident reports and clinical cases to coding tasks and negotiations, and has a programmatically verifiable outcome. To isolate teamwork from individual capability, models are scored only on tasks that they can solve by themselves when they have full information. We evaluate 18 closed- and open-weight models and find that every model, across sizes and families, has clear weaknesses as a teammate, with the best model scoring only 82.2 out of 100. Frontier models almost always refuse unsafe shortcuts and report misconduct, yet they cave under interpersonal pressure, reaching the best overall deal in only 14% of conflicts, and their pass rate drops from 97% to 81% when they take over a task in which a weaker model has cheated. Crucially, general capability does not guarantee good teamwork, as models with nearly the same capability score differ by up to 11 points as teammates. The benchmark includes 160 public tasks with code and data, along with 80 held-out tasks for evaluation. As AI agents increasingly work alongside other agents and people, the ability to collaborate effectively is becoming a crucial capability to measure and develop.
• Abstract（参考訳）: AIの進歩は、単一のモデルでできることによってしばしば測定される。 しかし、AIエージェントのチームは、科学、医学、数学、ソフトウェア工学におけるブレークスルーと発見を始めている。 AIがエージェントと人々のチームで働き始めると、協力する能力は彼らの知性の中核となる。 人間のチームに関する研究は、何十年にもわたってこの能力を測定してきた。 これに触発されて、AIエージェントがチームメイトとしてどのように機能するかを測定するコラボレーティブインテリジェンスベンチマーク(Collaborative Intelligence Benchmark)を導入します。 チームワークの8次元にわたる240のタスクが含まれており、安全でないショートカットを拒否するから、弱いモデルが残した作業をチェックするまでである。 それぞれのタスクは、航空事故の報告や臨床ケースからコーディングタスクや交渉まで、実際の記録または既存のベンチマークから得られ、プログラム的に検証可能な結果が得られる。 チームワークを個々の能力から分離するために、モデルは完全な情報を持っているときに自分で解決できるタスクにのみスコア付けされる。 私たちは18のクローズドモデルとオープンウェイトモデルを評価し、すべてのモデルが、サイズや家族にわたって、チームメイトとして明確な弱点を持っていることを発見しました。 フロンティアのモデルは、ほぼ常に安全でないショートカットを拒否し、不正行為を報告するが、彼らは対人的なプレッシャーに悩まされ、紛争のわずか14%で最高の取引に到達し、弱いモデルが騙されたタスクを引き継ぐと、そのパスレートは97%から81%に低下する。 重要なことに、一般的な能力は優れたチームワークを保証しません。 ベンチマークには、コードとデータを備えた160の公開タスクと、評価のための80の保留タスクが含まれている。 AIエージェントが他のエージェントや人々と一緒に働くようになるにつれ、効果的に協力する能力は、測定と開発の重要な能力になりつつある。

関連論文リスト

• Self-Organizing Agent Teams Learn to Reason Together [52.45199430212268]
  私たちは、以前のコラボレーションから再利用可能な戦略を学び、役割、会話フェーズ、参加、情報の流れを整理する、AIエージェントの固定チームである、自己組織化エージェントチーム(SAT)を紹介します。 これらの戦略は、私たちがコラボレーティブ計算と呼ぶものを可能にします。エージェントの交換、チャレンジ、修復、そして、メンバーが独立して生成しないソリューションへの部分的推論を合成します。
  論文  参考訳（メタデータ） (2026-09-19T01:27:40Z)
• Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
  我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。 エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。 エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
  論文  参考訳（メタデータ） (2026-09-03T17:33:18Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• CooperBench: Why Coding Agents Cannot be Your Teammates Yet [44.06715229961526]
  CooperBenchは、4つのプログラミング言語で12のライブラリにまたがる600以上の協調コーディングタスクのベンチマークである。 エージェントは、両方のタスクを個別に実行するよりも、一緒に働く場合の平均30%低い成功率を達成する。 分析の結果,(1)コミュニケーションチャネルは不明瞭で不正確なメッセージに悩まされる,(2)効果的なコミュニケーションであっても,エージェントはコミットメントから逸脱する,(3)エージェントが他人の計画やコミュニケーションに対して誤った期待を抱いている,という3つの重要な問題が明らかになった。
  論文  参考訳（メタデータ） (2026-01-19T18:48:37Z)
• AGI Is Coming... Right After AI Learns to Play Wordle [4.2909314120969855]
  マルチモーダルエージェント、特にOpenAIのComputer-User Agent (CUA)は、人間のように標準的なコンピュータインターフェースを通じてタスクを制御および完了するよう訓練されている。 The New York Times Wordle game におけるエージェントのパフォーマンスを評価し,モデル行動の抽出と欠点の同定を行った。
  論文  参考訳（メタデータ） (2025-04-21T20:58:58Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• ChatCollab: Exploring Collaboration Between Humans and AI Agents in Software Teams [1.3967206132709542]
  ChatCollabの斬新なアーキテクチャは、エージェント(人間またはAI)が任意の役割でコラボレーションに参加することを可能にする。 ソフトウェアエンジニアリングをケーススタディとして使用することで、私たちのAIエージェントが彼らの役割と責任をうまく特定できることが分かりました。 ソフトウェア開発のための従来の3つのマルチエージェントAIシステムに関連して、ChatCollab AIエージェントはインタラクティブなゲーム開発タスクにおいて、同等またはより良いソフトウェアを生成する。
  論文  参考訳（メタデータ） (2024-12-02T21:56:46Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。