論文の概要: Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations

• arxiv url: http://arxiv.org/abs/2609.23486v1
• Date: Sun, 20 Sep 2026 09:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.836877
• Title: Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations
• Title（参考訳）: 人間中心型マルチモーダル観測によるプロアクティブロボットの認知行動推論
• Abstract要約: textitProactive Robot Action Reasoning (textitProRobo)は、ロボットが明示的なアクション指示なしで、マルチモーダルな人間と環境の手がかりに基づいてどのアクションをとるべきかを判断しなければならない上流認知決定問題である。 評価誘導型候補生成とAffective Theory-of-Mind-Guided Human refinementを組み合わせた2段階のHuman-in-the-loopパイプラインを開発した。 実験により、汎用MLLMはマルチモーダルキューからのハイレベルアクションを積極的に推論するのに対して、textitProActionのトレーニングはパフォーマンスを大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 5.132924729713637
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Robots operating in human-centered environments are typically designed to execute explicit instructions, and most robot-learning datasets likewise pair observations with task instructions or low-level actions. Although recent work has begun to explore proactive embodied assistance, existing resources target different settings and action levels, leaving real-world human-centered multimodal decision-making underexplored. We formulate this problem as \textit{Proactive Robot Action Reasoning} (\textit{ProRobo}), an upstream cognitive decision problem in which a robot must determine which action to take based on multimodal human and environmental cues without explicit action instructions. To support ProRobo, we introduce \textit{ProAction}, a real-world multimodal dataset containing 10K samples of visual observations, audio signals, and text inputs across 12 daily-life scenarios in five common scenes. To construct cognitively grounded high-level action supervision, we develop a two-stage human-in-the-loop pipeline that combines appraisal-guided candidate generation with Affective Theory-of-Mind-guided human refinement, explicitly incorporating contextual judgment about human states, urgency, feasibility, and potential risk into action annotation. Based on this supervision, we benchmark representative Multimodal Large Language Models (MLLMs) and introduce \textit{MMC2Act}, a reference model that implicitly learns the mapping from multimodal observations to cognitively grounded high-level actions. Experiments across modality settings, subject-disjoint generalization, cross-dataset transfer, and human evaluation show that general-purpose MLLMs struggle with proactively reasoning high-level actions from multimodal cues, whereas training on \textit{ProAction} substantially improves performance.
• Abstract（参考訳）: 人間中心の環境で動くロボットは通常、明示的な指示を実行するように設計されており、ほとんどのロボット学習データセットは、同様にタスク命令や低レベルのアクションと観測をペアリングする。 近年、積極的な実施支援の探求が始まっているが、既存のリソースは異なる設定や行動レベルをターゲットにしており、現実の人間中心のマルチモーダルな意思決定は過小評価されている。 この問題を,ロボットが明示的な行動指示を伴わずに,マルチモーダルな人間と環境の手がかりに基づいてどの行動をとるべきかを判断しなければならない上流認知決定問題である,\textit{Proactive Robot Action Reasoning} (\textit{Prorobo}) として定式化する。 ProRoboをサポートするために,視覚観測,音声信号,テキスト入力の10Kサンプルを含む実世界のマルチモーダルデータセットである \textit{ProAction} を紹介した。 認知的に根ざしたハイレベルな行動監視を構築するために,評価誘導候補生成とAffective Theory-of-Mind-Guided Human refinementを併用した2段階のヒューマンインザループパイプラインを開発し,人間の状態,緊急性,実現可能性,潜在的なリスクをアクションアノテーションに明示的に取り入れた。 本研究は,マルチモーダルな大規模言語モデル(MLLM)をベンチマークし,マルチモーダルな観察から認知的な高レベルな行動へのマッピングを暗黙的に学習する参照モデルである「textit{MMC2Act}」を紹介する。 モダリティ設定、主観的不整合一般化、クロスデータセット転送、人的評価などにわたる実験により、汎用MLLMはマルチモーダルキューからのハイレベルアクションを積極的に推論するのに苦労する一方、textit{ProAction} のトレーニングはパフォーマンスを大幅に向上することが示された。

関連論文リスト

• Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
  本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。 物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。 ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
  論文  参考訳（メタデータ） (2026-01-13T23:36:30Z)
• RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
  我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。 目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。 シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
  論文  参考訳（メタデータ） (2025-10-27T18:49:03Z)
• Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
  自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。 N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。 モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
  論文  参考訳（メタデータ） (2025-07-30T09:48:34Z)
• Humanoid Agent via Embodied Chain-of-Action Reasoning with Multimodal Foundation Models for Zero-Shot Loco-Manipulation [23.43820490179566]
  Humanoid-COAはゼロショットロコ操作のためのエボディード・チェーン・オブ・アクション機構と基礎モデル推論を統合している。 我々のフレームワークは、操作、移動、およびロコ操作タスクにおいて、以前のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-04-13T11:37:32Z)
• A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [38.227022474450834]
  本稿では,従来の最先端技術と比較して性能が向上したアドレス推定モデルを提案する。 また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T13:09:32Z)
• ThinkBot: Embodied Instruction Following with Thought Chain Reasoning [66.09880459084901]
  EIF(Embodied Instruction following)は、複雑な環境下でオブジェクトを相互作用させることで、エージェントが人間の指示を完了させる。 我々は,人間の指導における思考連鎖を原因とした思考ボットを提案し,その不足した行動記述を復元する。 私たちのThinkBotは、成功率と実行効率の両面で、最先端のEIFメソッドよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-12-12T08:30:09Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。