論文の概要: Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration

• arxiv url: http://arxiv.org/abs/2606.06388v2
• Date: Sat, 06 Jun 2026 00:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:04.995604
• Title: Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration
• Title（参考訳）: ヒトのALMANAC : エージェントコラボレーションのための行動レベルメンタルモデルアノテーションのヒトコラボレーションデータセット
• Authors: Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao,
• Abstract要約: 本稿ではエージェント協調のための行動レベル精神モデルAnnotationsのデータセットであるALMANACについて述べる。 ALMANACには2,987の協調アクションがあり、それぞれに理論インフォームドのメンタルモデルアノテーションが組み合わされている。 本研究は、ALMANACが人間の協調動作をシミュレートするモデルの能力を評価する上で有用であることを示す。
• 参考スコア（独自算出の注目度）: 54.18136393879849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in LLM agents have enabled complex cognitive capabilities, such as multi-step reasoning, planning, and tool use, that increasingly position these agents as human collaborators. Effective collaboration, however, requires collaborators to continuously maintain and align mental models of their own reasoning,partners' intentions, and shared goals during the collaborative process. Today's agents rarely develop such capabilities since they are primarily optimized for task completion, and the community lacks authentic human collaboration data with action-level mental model annotations that could guide agents toward process-level collaborative competence. To bridge this gap, we present ALMANAC, a dataset of Action-Level Mental model ANnotations for Agent Collaboration built from the Map Task, a classic dyadic routing task from social science. ALMANAC contains 2,987 collaboration actions, each paired with theory-informed mental model annotations that record the participants' self-reasoning, perceived partner intent, and perceived team goal. We benchmark six LLMs on predicting humans' next-turn behavior and mental models. Our results demonstrate ALMANAC's utility in evaluating models' ability to simulate human collaborative behaviors and infer their underlying mental models.
• Abstract（参考訳）: 近年のLLMエージェントの進歩により、多段階の推論、計画、ツールの使用といった複雑な認知能力が実現し、これらのエージェントを人間の協力者として位置づけるようになっている。 しかし、効果的なコラボレーションは、協力者が自身の理性、パートナーの意図、共同作業中の目標の共有を継続的に維持し、調整することを要求する。 今日のエージェントは、主にタスク完了に最適化されているため、そのような機能を開発することは滅多にありません。 このギャップを埋めるために、社会科学から古典的なダイアドルーティングタスクであるMap Taskから構築されたエージェント協調のための行動レベルメンタルモデルのデータセットであるALMANACを提示する。 ALMANACには2,987の協力行動が含まれており、それぞれに、参加者の自己推論、パートナーの意図、認識されたチームの目標を記録する、理論的なインフォームド・メンタル・モデルアノテーションが組み合わされている。 我々は、人間の次のターン行動と精神モデルを予測するために、6つのLSMをベンチマークした。 この結果から、ALMANACは、人間の協調行動をシミュレートし、基礎となる精神モデルを予測するモデルの能力を評価できることを示した。

関連論文リスト

• Evaluating Generative Models as Interactive Emergent Representations of Human-Like Collaborative Behavior [1.4016147623265656]
  人間とAIの協力は、効果的な協調のために人間の行動を理解するためにAIエージェントを必要とする。 本研究は, 基礎的精神モデルを示す創発的な協調行動を示す基礎モデルエージェントについて検討する。
  論文  参考訳（メタデータ） (2026-05-05T15:20:15Z)
• Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming [13.263258837438045]
  本研究では,人間とエージェントの協力関係を評価するための重要な指標として,建設的相互依存の概念を提案する。 その結果,訓練されたエージェントは高いタスク報酬を得られるが,協調行動の誘発には失敗していることがわかった。 分析の結果,チームリングのパフォーマンスは必ずしもタスク報酬と相関していないことが明らかとなり,タスク報酬だけでは協調を確実に測定できないことがわかった。
  論文  参考訳（メタデータ） (2025-02-10T19:16:20Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• MetaAgents: Large Language Model Based Agents for Decision-Making on Teaming [27.911816995891726]
  大規模言語モデル(LLM)を用いた社会シミュレーションフレームワークであるMetaAgentsを紹介する。 LLMをベースとしたエージェントのチーム構成とスキルマッチング行動を精査するためのケーススタディとして,ジョブフェア環境を構築した。 評価の結果,LLMをベースとしたエージェントが,効率的なチーム開発に合理的な決定を下す上で有能な役割を担っていることが示された。
  論文  参考訳（メタデータ） (2023-10-10T10:17:58Z)
• Investigating Agency of LLMs in Human-AI Collaboration Tasks [24.562034082480608]
  我々は社会認知理論に基づいて、エージェントが対話で表現される特徴の枠組みを構築する。 我々は、83人の人間と人間の協力的なインテリアデザインの会話のデータセットを収集する。
  論文  参考訳（メタデータ） (2023-05-22T08:17:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。