論文の概要: CoMind: Understanding Collaborative Human Activity from Multiple Minds and Views

• arxiv url: http://arxiv.org/abs/2607.06691v1
• Date: Tue, 07 Jul 2026 18:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.193188
• Title: CoMind: Understanding Collaborative Human Activity from Multiple Minds and Views
• Title（参考訳）: CoMind: 複数の心と視点から協調的人間活動を理解する
• Abstract要約: 調理シナリオにおける現実のコラボレーションをキャプチャする,エゴセントリックでエクソセントリックなビデオデータセットを新たに導入する。 このデータセットは、マルチパースペクティブなビデオ、高品質なオーディオ、視線追跡、および3Dシーンとオブジェクトスキャンを統合する。 我々は,共同注意推定,社会的条件付きオブジェクトインタラクション予測,協調的ハンドオーバ予測のベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 82.15362247351763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-human collaboration is a fundamental aspect of everyday life, essential to success in a wide range of goal-directed activities from household tasks to professional teamwork. While much research has focused on modeling coordination and task execution, the cognitive processes that support such collaboration, particularly Theory of Mind (the ability to infer the mental states of others), remain difficult to study in natural settings. To address this gap, we introduce a novel egocentric and exocentric video dataset capturing real-world collaboration in cooking scenarios. The dataset integrates multi-perspective video, high-quality audio, gaze tracking, and 3D scene and object scans, with annotations for shared attention to objects, social cues and interactions between agents, as well as agent-object interactions. We establish benchmarks for Joint Attention Estimation, Socially Conditioned Object Interaction Anticipation, and Collaborative Handover Prediction, enabling research on multimodal perception, proactive assistance, and collaborative planning. By providing temporally aligned, richly annotated multimodal data, CoMind facilitates the development and evaluation of AI systems capable of modeling complex social interactions and reasoning about human behaviors in collaborative environments. Our dataset and benchmarks are made available at https://comind.ethz.ch/.
• Abstract（参考訳）: 人間と人間のコラボレーションは日常生活の基本的な側面であり、家庭のタスクからプロのチームワークまで、幅広い目標指向の活動の成功に不可欠である。 多くの研究が協調のモデル化とタスク実行に焦点を合わせてきたが、そのような協調を支援する認知過程、特に心の理論(他者の精神状態を予測する能力)は、自然の環境では研究が難しいままである。 このギャップに対処するために、調理シナリオにおける現実のコラボレーションをキャプチャする、エゴセントリックでエクソセントリックなビデオデータセットを導入する。 このデータセットは、マルチパースペクティブなビデオ、高品質なオーディオ、視線追跡、および3Dシーンとオブジェクトスキャンを統合し、オブジェクトへの共通の注意、ソーシャルなキュー、エージェント間のインタラクション、エージェントとオブジェクトのインタラクションのアノテーションを提供する。 我々は,共同注意推定,社会的条件付きオブジェクトインタラクション予測,協調的ハンドオーバ予測のベンチマークを構築し,マルチモーダル認識,積極的支援,協調計画の研究を可能にする。 CoMindは、時間的に整合したリッチな注釈付きマルチモーダルデータを提供することによって、複雑な社会的相互作用をモデル化し、協調環境での人間の振る舞いを推論できるAIシステムの開発と評価を促進する。 私たちのデータセットとベンチマークはhttps://comind.ethz.ch/.com/で公開されています。

関連論文リスト

• Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration [54.18136393879849]
  本稿ではエージェント協調のための行動レベル精神モデルAnnotationsのデータセットであるALMANACについて述べる。 ALMANACには2,987の協調アクションがあり、それぞれに理論インフォームドのメンタルモデルアノテーションが組み合わされている。 本研究は、ALMANACが人間の協調動作をシミュレートするモデルの能力を評価する上で有用であることを示す。
  論文  参考訳（メタデータ） (2026-06-04T16:56:12Z)
• Evaluating Generative Models as Interactive Emergent Representations of Human-Like Collaborative Behavior [1.4016147623265656]
  人間とAIの協力は、効果的な協調のために人間の行動を理解するためにAIエージェントを必要とする。 本研究は, 基礎的精神モデルを示す創発的な協調行動を示す基礎モデルエージェントについて検討する。
  論文  参考訳（メタデータ） (2026-05-05T15:20:15Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• A Task-Interdependency Model of Complex Collaboration Towards Human-Centered Crowd Work [0.5439020425818999]
  我々は、相互依存を中心としたモデルを提示し、これはコラボレーションの核心にあるとよく理解されている現象である。 我々は、複雑な協調作業のスケールアップ、専門家の重要さの明確化、調整力と職業賃金の関係について説明する。
  論文  参考訳（メタデータ） (2023-08-31T22:37:47Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks [2.5725755841426623]
  心の理論は、人間の協調とコミュニケーションの間、共通基盤を維持する上で重要な役割を担っている。 Minecraftの3D仮想ブロックの世界において、人間のペアが行う協調作業のきめ細かいデータセットを紹介した。 相互作用が展開するにつれて、パートナーの世界の信念と互いの信念をキャプチャする情報を提供する。
  論文  参考訳（メタデータ） (2021-09-13T19:26:19Z)
• LEMMA: A Multi-view Dataset for Learning Multi-agent Multi-task Activities [119.88381048477854]
  LEMMAデータセットを導入し、細心の注意深い設定で、行方不明な次元に対処するための単一の家を提供する。 我々は、人間と物体の相互作用による原子間相互作用を密に注釈し、日常の活動の構成性、スケジューリング、割り当ての土台として提供する。 この取り組みにより、マシンビジョンコミュニティは、目標指向の人間活動を調べ、現実世界におけるタスクのスケジューリングと割り当てをさらに研究できることを期待します。
  論文  参考訳（メタデータ） (2020-07-31T00:13:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。