論文の概要: Evaluating Generative Models as Interactive Emergent Representations of Human-Like Collaborative Behavior
- arxiv url: http://arxiv.org/abs/2605.03855v1
- Date: Tue, 05 May 2026 15:20:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.999387
- Title: Evaluating Generative Models as Interactive Emergent Representations of Human-Like Collaborative Behavior
- Title(参考訳): 協調行動の対話的創発的表現としての生成モデルの評価
- Authors: Shinas Shaji, Teena Chakkalayil Hassan, Sebastian Houben, Alex Mitrevski,
- Abstract要約: 人間とAIの協力は、効果的な協調のために人間の行動を理解するためにAIエージェントを必要とする。
本研究は, 基礎的精神モデルを示す創発的な協調行動を示す基礎モデルエージェントについて検討する。
- 参考スコア(独自算出の注目度): 1.4016147623265656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-AI collaboration requires AI agents to understand human behavior for effective coordination. While advances in foundation models show promising capabilities in understanding and showing human-like behavior, their application in embodied collaborative settings needs further investigation. This work examines whether embodied foundation model agents exhibit emergent collaborative behaviors indicating underlying mental models of their collaborators, which is an important aspect of effective coordination. This paper develops a 2D collaborative game environment where large language model agents and humans complete color-matching tasks requiring coordination. We define five collaborative behaviors as indicators of emergent mental model representation: perspective-taking, collaborator-aware planning, introspection, theory of mind, and clarification. An automated behavior detection system using LLM-based judges identifies these behaviors, achieving fair to substantial agreement with human annotations. Results from the automated behavior detection system show that foundation models consistently exhibit emergent collaborative behaviors without being explicitly trained to do so. These behaviors occur at varying frequencies during collaboration stages, with distinct patterns across different LLMs. A user study was also conducted to evaluate human satisfaction and perceived collaboration effectiveness, with the results indicating positive collaboration experiences. Participants appreciated the agents' task focus, plan verbalization, and initiative, while suggesting improvements in response times and human-like interactions. This work provides an experimental framework for human-AI collaboration, empirical evidence of collaborative behaviors in embodied LLM agents, a validated behavioral analysis methodology, and an assessment of collaboration effectiveness.
- Abstract(参考訳): 人間とAIの協力は、効果的な協調のために人間の行動を理解するためにAIエージェントを必要とする。
基礎モデルの進歩は、人間のような振る舞いを理解し、示す上で有望な能力を示す一方で、具体化された協調的な環境におけるそれらの応用には、さらなる調査が必要である。
本研究は, 基礎となるコラボレータの精神モデルを示す創発的な協調行動を示す基礎モデルエージェントが, 効果的なコーディネーションの重要な側面であるかどうかを考察する。
本稿では,大規模言語モデルエージェントとヒトが協調を必要とするカラーマッチングタスクを完了する2次元協調ゲーム環境を開発する。
我々は,5つの協調行動を,視点抽出,協調的計画,イントロスペクション,心の理論,明確化という,創発的精神モデル表現の指標として定義する。
LLMに基づく判断器を用いた自動行動検出システムは,これらの動作を識別し,人間のアノテーションとの相当な一致を達成する。
自動行動検出システムの結果から,基礎モデルでは,そのように明示的に訓練されることなく,常に創発的な協調行動を示すことが示された。
これらの振舞いはコラボレーションの段階で異なる周波数で発生し、異なるLLMにまたがる異なるパターンを持つ。
また、人間の満足度と協調効果の認知を評価するために、ユーザスタディを実施し、ポジティブなコラボレーション体験を示す結果を得た。
参加者は、エージェントのタスクフォーカス、計画言語化、イニシアチブを高く評価し、応答時間の改善や人間のような相互作用を推奨した。
この研究は、人間とAIの協調のための実験的な枠組み、具体化されたLLMエージェントにおける協調行動の実証的証拠、検証された行動分析手法、コラボレーションの有効性の評価を提供する。
関連論文リスト
- Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales [3.8688888722378674]
本稿では,PCS(Perceived Cooperativity Scale)とTPS(Teaming Perception Scale)の2つの理論的基礎尺度を紹介する。
PCSは、エージェントの認識された協調能力と実践を単一の相互作用シーケンス内でキャプチャし、TPSは、相互の貢献と支援から生じるチーム活動の創発的な感覚をキャプチャする。
両者のスケールは、様々な協調品質の協力パートナー間での差別化に成功し、期待に沿う構成上の妥当性を示した。
論文 参考訳(メタデータ) (2026-04-27T13:28:59Z) - When Trust Collides: Decoding Human-LLM Cooperation Dynamics through the Prisoner's Dilemma [10.143277649817096]
本研究では,大規模言語モデル(LLM)エージェントに対する人間の協調的態度と行動について検討する。
その結果, エージェントアイデンティティがほとんどの協調行動に有意な影響を及ぼすことが明らかとなった。
これらの知見は,自律エージェントとの競争におけるヒト適応の理解に寄与する。
論文 参考訳(メタデータ) (2025-03-10T13:37:36Z) - Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming [13.263258837438045]
本研究では,人間とエージェントの協力関係を評価するための重要な指標として,建設的相互依存の概念を提案する。
その結果,訓練されたエージェントは高いタスク報酬を得られるが,協調行動の誘発には失敗していることがわかった。
分析の結果,チームリングのパフォーマンスは必ずしもタスク報酬と相関していないことが明らかとなり,タスク報酬だけでは協調を確実に測定できないことがわかった。
論文 参考訳(メタデータ) (2025-02-10T19:16:20Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳(メタデータ) (2024-12-20T09:21:15Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。
データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。
厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - MetaAgents: Large Language Model Based Agents for Decision-Making on Teaming [27.911816995891726]
大規模言語モデル(LLM)を用いた社会シミュレーションフレームワークであるMetaAgentsを紹介する。
LLMをベースとしたエージェントのチーム構成とスキルマッチング行動を精査するためのケーススタディとして,ジョブフェア環境を構築した。
評価の結果,LLMをベースとしたエージェントが,効率的なチーム開発に合理的な決定を下す上で有能な役割を担っていることが示された。
論文 参考訳(メタデータ) (2023-10-10T10:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。