論文の概要: SocialCoAct: Enabling and Benchmarking Egocentric Social Co-Action for VLM-Based Humanoid Robots

• arxiv url: http://arxiv.org/abs/2610.24559v1
• Date: Sat, 17 Oct 2026 08:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:43:14.353118
• Title: SocialCoAct: Enabling and Benchmarking Egocentric Social Co-Action for VLM-Based Humanoid Robots
• Title（参考訳）: SocialCoAct: VLMベースのヒューマノイドロボットのためのエゴセントリックなソーシャルコアクションの実現とベンチマーク
• Abstract要約: SocialCoActは、VLMベースのエゴセントリックなソーシャルコアクションのための統合されたエージェント中心のフレームワークである。 自然な多人数インタラクションの連続的エゴセントリック記録からSocialCoAct-Benchを評価する。
• 参考スコア（独自算出の注目度）: 19.910364463971064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling humanoid robots to participate effectively in social interactions is important for their integration into human-centered environments. Existing methods, however, typically map pre-generated speech directly to continuous motion trajectories but have limited awareness of complex social environments and lack explicit high-level semantic action planning. We introduce SocialCoAct, a unified agent-centered framework for VLM-based egocentric social co-action. We formulate egocentric social co-action as an end-to-end agent task and develop SocialCoAct-Agent, which transforms egocentric observations and dialogue history into verbal responses and atomic action sequences, aligns each action with its corresponding utterance span, and executes the resulting behaviors in MuJoCo and on a physical humanoid robot. To evaluate the VLM capabilities required by this task, we construct SocialCoAct-Bench from continuous egocentric recordings of natural multi-party interactions. The benchmark comprises 423 human-verified multiple-choice questions across three subtasks: Long Episode Understanding (LEU), Speaker Intention Understanding (SIU), and Coordinated Action Planning (CAP). Across a diverse set of closed-source and open-weight VLMs, including general and egocentric models, the highest overall accuracy is 77.54%, while accuracy on the hard subset reaches only 46.51%. Extended reasoning improves Qwen3-VL-2B and Qwen3-VL-4B by 19.62 and 17.02 percentage points, respectively, but reduces inference throughput by 53.6$\times$ and 20.2$\times$. Visual-input ablations further show that the benefits of visual context vary across models. SocialCoAct provides a foundation for developing and evaluating VLM-based humanoid agents that coordinate context-aware speech and action in complex social interactions. The codebase and benchmark will be made publicly available upon publication.
• Abstract（参考訳）: ヒューマノイドロボットを社会的相互作用に効果的に参加させることは、人間中心の環境への統合において重要である。 しかし、既存の方法は、通常、生成済みの音声を直接連続的な運動軌跡にマッピングするが、複雑な社会的環境への認識は限られており、明示的なハイレベルなセマンティック・アクション・プランニングが欠如している。 我々は、VLMベースの自我中心のソーシャルコアクションのための統合エージェント中心のフレームワークSocialCoActを紹介する。 我々は,エゴセントリックなソーシャル・コアクションをエンド・ツー・エンドのエージェントタスクとして定式化し,対話履歴を言語応答や原子行動シーケンスに変換するSocialCoAct-Agentを開発した。 このタスクで必要とされるVLM機能を評価するために,自然多人数インタラクションの連続的自我中心的な記録からSocialCoAct-Benchを構築する。 このベンチマークは、Long Episode Understanding (LEU), Speaker Intention Understanding (SIU), Coordinated Action Planning (CAP)の3つのサブタスクにまたがる423の人間検証された多重選択質問で構成されている。 一般および自我中心のモデルを含む様々なクローズドソースおよびオープンウェイトVLMにおいて、全体的な精度は77.54%であり、ハードサブセットの精度は46.51%である。 拡張推論はQwen3-VL-2BとQwen3-VL-4Bをそれぞれ19.62ポイント、17.02ポイント改善するが、推論スループットを53.6$\times$と20.2$\times$に下げる。 ビジュアル・インプット・アブレーションは、視覚的コンテキストの利点がモデルによって異なることを示している。 SocialCoActは、複雑な社会的相互作用における文脈認識音声と行動を調整するVLMベースのヒューマノイドエージェントの開発と評価のための基盤を提供する。 コードベースとベンチマークは公開時に公開される予定だ。

関連論文リスト

• From Social Reasoning to Embodied Interaction: An Agentic Framework for Social Robots [57.257033382353804]
  ARISEはソフィア・ヒューマノイド・ロボットにエージェント・リソンとインタラクティブ・ソーシャル・エボディメントを橋渡しする。 ARISEは、マルチモーダルなコンテキスト理解、長期記憶、リアクティブとプロアクティブな相互作用を統合して、いつ、何を通信すべきかを決定する。
  論文  参考訳（メタデータ） (2026-10-05T08:15:21Z)
• The Robot's Inner Critic: Self-Refinement of Social Behaviors through VLM-based Replanning [2.38295275136047]
  CRISP(Critique-and-Replan for Interactive Social Presence)は、ロボットが自身の行動を批判し、再計画する自律的なフレームワークである。 CRISPは,(1)ロボットの記述ファイルを解析して可動関節と制約を抽出する。 ロボットの構造ファイルだけを使って、さまざまなプラットフォーム上で微妙に異なる人間的な動きを生成できる。
  論文  参考訳（メタデータ） (2026-03-20T17:40:21Z)
• SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
  ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。 結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。 スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
  論文  参考訳（メタデータ） (2025-06-01T08:36:51Z)
• Social-LLaVA: Enhancing Robot Navigation through Human-Language Reasoning in Social Spaces [40.44502415484082]
  本研究では,人間の知覚とロボット行動のギャップを埋めるために言語を用いることを提案する。 視覚言語データセットであるSocial Robot Navigation via Explainable Interactions (SNEI)を作成し、40万個の人称視覚質問回答(VQA)を特徴とする。 我々は、SNEIを用いてVLM、Social-LLaVAを微調整し、データセットの実用性を実証する。
  論文  参考訳（メタデータ） (2024-12-30T23:59:30Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
  本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。 ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。 我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
  論文  参考訳（メタデータ） (2024-02-07T11:37:14Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception [50.551003004553806]
  私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。 フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。 ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
  論文  参考訳（メタデータ） (2021-03-02T18:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。