論文の概要: CollabBench: Benchmarking and Unleashing Collaborative Ability of LLMs with Diverse Players via Proactive Engagement

• arxiv url: http://arxiv.org/abs/2606.05793v1
• Date: Thu, 04 Jun 2026 07:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.619032
• Title: CollabBench: Benchmarking and Unleashing Collaborative Ability of LLMs with Diverse Players via Proactive Engagement
• Title（参考訳）: CollabBench: プロアクティブエンゲージメントによる多人数プレイヤーとのLLMのベンチマークと開放的コラボレーション能力
• Authors: Hong Qian, Yuanhao Liu, Zihan Zhou, Zongbao Zhang, Hanjie Ge, Haotian Shi, Liang Dou, Xiangfeng Wang, Jingwen Yang, Aimin Zhou,
• Abstract要約: CollabBenchは、協調ゲームにおける協調エージェントの評価と訓練のためのベンチマークである。 トレーニングされたモデルは、19.5%高い効率と24.4%の感情的パフォーマンスを実現しました。
• 参考スコア（独自算出の注目度）: 28.113758487041995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While LLM-based agents excel at individual tasks, effective collaboration with realistic human partners remains challenging. Most of the existing conversation-level collaborative studies lack grounded interaction and behavioral execution, motivating the need for cooperative game environments that enable contextualized and immersive collaboration. To this end, this paper proposes CollabBench, a benchmark for evaluating and training collaborative agents in cooperative games. CollabBench features a Diverse Player Profile Simulation pipeline to model varied players behaviors, and a Collaborative Agentic Training paradigm that unifies reasoning, communication, and action via agentic rollouts, optimized with a hybrid reward balancing task efficiency and affective adaptation. We further extend classic environments to CWAH-MultiPlayer and Cook-MultiPlayer for systematic evaluation under diverse personalities. Experiments with efficiency and affective metrics show that our trained models outperform base models, achieving 19.5% higher efficiency and 24.4% improved affective performance. Further analysis reveals key collaborative limitations of existing models and offers insights for future collaborative training.
• Abstract（参考訳）: LLMベースのエージェントは個々のタスクに優れていますが、現実的な人間パートナーとの効果的なコラボレーションは依然として困難です。 既存の会話レベルのコラボレーション研究の多くは、対話と行動実行の基盤を欠いたものであり、コンテキスト化された、没入的なコラボレーションを可能にする協調的なゲーム環境の必要性を動機付けている。 そこで本研究では,協調ゲームにおける協調エージェントの評価と訓練のためのベンチマークであるCollabBenchを提案する。 CollabBenchは、さまざまなプレイヤーの振る舞いをモデル化するためのDiverse Player Profile Simulationパイプラインと、エージェントロールアウトによる推論、コミュニケーション、アクションを統一するCollaborative Agentic Trainingパラダイムを備えており、タスク効率と感情適応のハイブリッドバランスに最適化されている。 さらに,従来の環境をCWAH-MultiPlayerやCook-MultiPlayerに拡張し,多様な個人性の下で体系的な評価を行う。 効率性と感情的指標を用いた実験では、トレーニングされたモデルはベースモデルより優れ、19.5%高い効率と24.4%の感情的パフォーマンスが向上した。 さらに分析することで、既存のモデルの重要なコラボレーティブな制限を明らかにし、将来のコラボレーティブなトレーニングに対する洞察を提供する。

関連論文リスト

• CollabSim: A CSCW-Grounded Methodology for Investigating Collaborative Competence of LLM Agents through Controlled Multi-Agent Experiments [32.043112677406064]
  CollabSimは、理論に基づく協調能力の定義、相互作用条件の制御、エージェントの内部状態のアクションレベル探索を組み合わせたシミュレーションフレームワークである。 CollabSimは条件効果をキャプチャし、モデルパフォーマンスパターンを分離し、エージェント設計のタスク依存効果を明らかにする。
  論文  参考訳（メタデータ） (2026-06-04T17:06:22Z)
• Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration [54.18136393879849]
  本稿ではエージェント協調のための行動レベル精神モデルAnnotationsのデータセットであるALMANACについて述べる。 ALMANACには2,987の協調アクションがあり、それぞれに理論インフォームドのメンタルモデルアノテーションが組み合わされている。 本研究は、ALMANACが人間の協調動作をシミュレートするモデルの能力を評価する上で有用であることを示す。
  論文  参考訳（メタデータ） (2026-06-04T16:56:12Z)
• Cooperative Profiles Predict Multi-Agent LLM Team Performance in AI for Science Workflows [26.30514689505384]
  本稿では,AI-for-Scienceタスクにおいて,ゲーム由来の協調プロファイルがダウンストリーム性能を確実に予測することを示す。 当社のフレームワークは,コストのかかるマルチエージェント展開前に協調的適合性のスクリーニングを行うための,迅速かつ安価な診断手段を提供する。
  論文  参考訳（メタデータ） (2026-04-22T15:07:54Z)
• Learning "Partner-Aware" Collaborators in Multi-Party Collaboration [12.287537011305497]
  大規模言語モデル(LLM)は,人間との共同作業を行うエージェント設定にデプロイされることが増えている。 本稿では、協調行動に関する新たな理論的洞察を提供するために、AIアライメントと安全な割り込み可能性文献に基づく。 CG-最適協調者を訓練するための新しいパートナー認識学習アルゴリズムであるInterruptible Collaborative Roleplayer (ICR)を提案する。
  論文  参考訳（メタデータ） (2025-10-26T00:05:48Z)
• Improving Cooperation in Collaborative Embodied AI [31.991962631895657]
  大規模言語モデルのマルチエージェントシステムへの統合は、AIエージェントとの協調推論と協調のための新たな可能性を開いた。 本稿では, エージェントの協調行動と意思決定の促進効果について検討し, その効果を検証した。 我々は音声機能を統合することで研究を拡張し、シームレスな音声ベースの対話を可能にする。
  論文  参考訳（メタデータ） (2025-10-03T16:25:48Z)
• Algorithmic Prompt Generation for Diverse Human-like Teaming and Communication with Large Language Models [14.45823275027527]
  品質多様性(QD)最適化は、多様な強化学習(RL)エージェントの振る舞いを生成することができる。 我々はまず、人間-物体実験を通して、人間がこの領域で様々な協調行動とコミュニケーション行動を示すことを示す。 そして、我々の手法は、人間のチームデータからトレンドを効果的に再現し、観察できない振る舞いを捉えることができることを示す。
  論文  参考訳（メタデータ） (2025-04-04T23:09:40Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。