論文の概要: Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI

• arxiv url: http://arxiv.org/abs/2608.18671v1
• Date: Wed, 19 Aug 2026 08:21:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.341307
• Title: Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI
• Title（参考訳）: 自己中心型ビデオのための視覚言語モデル:手動インタラクションから身体的AIへ
• Abstract要約: エゴセントリックなビデオは、着用者の視点からアクティビティを捉え、人間の注意、手-物間相互作用、ゴール指向の行動の直接的なビューを提供する。 現在のモデルは、特に長時間の活動において、対話、アクション、ユーザー意図の進化よりも、可視オブジェクトを確実に認識する。 デプロイ可能なエンボディードインテリジェンスにとって重要な優先事項として,時間的基盤の推論,インタラクション対応の監視,効率的な長ビデオ処理,マルチモーダル融合,グラフ強化表現,クロスドメインの一般化,プライバシ,信頼に値する評価を挙げる。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Egocentric video captures activities from the wearer's perspective, providing a direct view of human attention, hand--object interaction, and goal-directed behavior. This perspective is increasingly important for wearable intelligence, assistive systems, human--robot interaction, and embodied AI, yet it introduces challenges including ego-motion, occlusion, small active objects, viewpoint-dependent appearance, and long-range temporal dependencies. Vision--language models (VLMs) offer a promising foundation for addressing these challenges by linking visual observations with semantic knowledge and natural-language supervision. This survey presents a critical review of VLMs for egocentric video understanding, tracing the progression from conventional recognition architectures to multimodal foundation models and embodied systems. We organize the literature around tasks, datasets, hand--object interaction understanding, temporal reasoning, frame and clip selection, multimodal representation learning, prompting, semantic alignment, and model adaptation. Particular attention is given to graph-based and object-centric reasoning as mechanisms for modeling relations among hands, objects, actions, and scene context over time. We further examine how first-person perception and multimodal foundation models support wearable assistance, robot skill learning, human-to-robot transfer, and embodied decision making. Across the reviewed literature, a consistent limitation emerges: current models recognize visible objects more reliably than evolving interactions, actions, and user intent, especially over long activities. We therefore identify temporally grounded reasoning, interaction-aware supervision, efficient long-video processing, multimodal fusion, graph-enhanced representations, cross-domain generalization, privacy, and trustworthy evaluation as key priorities for deployable embodied intelligence.
• Abstract（参考訳）: エゴセントリックなビデオは、着用者の視点からアクティビティを捉え、人間の注意、手-物間相互作用、ゴール指向の行動の直接的なビューを提供する。 この視点は、ウェアラブルインテリジェンス、補助システム、人間とロボットのインタラクション、そしてAIの具体化においてますます重要になってきていますが、エゴモーション、オクルージョン、小さなアクティブオブジェクト、視点に依存した外観、長距離の時間的依存関係といった課題が導入されています。 視覚言語モデル(VLM)は、視覚的な観察と意味論的知識と自然言語の監督を結びつけることによって、これらの課題に対処するための有望な基盤を提供する。 本調査では,従来の認識アーキテクチャからマルチモーダル基礎モデル,エンボディシステムへの進歩を追究し,エゴセントリックな映像理解のためのVLMの批判的レビューを行う。 タスク、データセット、手動インタラクション理解、時間的推論、フレームとクリップの選択、マルチモーダル表現学習、プロンプト、セマンティックアライメント、モデル適応に関する文献を整理する。 グラフベースおよびオブジェクト中心の推論は、時間とともに手、オブジェクト、アクション、シーンコンテキスト間の関係をモデル化するメカニズムとして特に注目される。 さらに,初対人認知とマルチモーダル基礎モデルがウェアラブル支援,ロボットスキル学習,人間とロボットの移動,そして具体的意思決定をどのようにサポートするかを検討する。 現在のモデルでは、特に長時間のアクティビティにおいて、インタラクションやアクション、ユーザインテントの進化よりも、可視オブジェクトを確実に認識しています。 そこで我々は, 時間的基盤を持つ推論, 対話型監視, 効率的な長ビデオ処理, マルチモーダル融合, グラフ強化表現, クロスドメインの一般化, プライバシ, 信頼に値する評価を, デプロイ可能な実施可能なインテリジェンスの重要な優先事項として挙げる。

関連論文リスト

• Do Egocentric Video-Language Models Capture Both Hand- and Object-Centric Cues? [75.43540911934191]
  ハンドオブジェクトインタラクション(HOI)の認識には、手操作とオブジェクト変換の両方をキャプチャする必要がある。 本稿では,手動マスクトレーニングとHOI動的認識デコーダを組み合わせた新しい学習パラダイムを提案する。 我々のトレーニング戦略は、既存のモデルよりも手書きやオブジェクト中心の情報を効果的に活用することを示します。
  論文  参考訳（メタデータ） (2026-07-09T14:09:29Z)
• EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting [11.687067206676625]
  EggHandは、エゴセントリックな手ポーズ予測のための基盤モデルベースのフレームワークである。 動的モーションモデリングとマルチモーダルなセマンティック推論を統一する。 提案手法は,エゴモーション下でのジェネリックビジュアルエンコーダの脆さを克服する。
  論文  参考訳（メタデータ） (2026-05-08T12:09:27Z)
• Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos [13.593493129298553]
  この研究は、視覚大言語モデル(VLLM)を用いた自我中心視における人間と物体の相互作用予測の問題に対処する。 我々は,最新の視線修正によって形成される軌道を通じて,ユーザの意図を刺激し,理解することで,視覚的グラウンド機能を改善することで,既存のアプローチにおける重要な制限に対処する。 エゴセントリックなデータセットであるHD-EPICを用いて行った実験では,提案手法が課題に対する最先端のアプローチを超越し,そのモデルに依存しない性質を示した。
  論文  参考訳（メタデータ） (2026-04-04T09:38:41Z)
• Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
  Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。 既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。 本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
  論文  参考訳（メタデータ） (2025-12-30T16:22:14Z)
• VLM4D: Towards Spatiotemporal Awareness in Vision Language Models [66.833085504228]
  V4DLMは視覚言語モデル(VLM)を評価するために設計された最初のベンチマークである。 本ベンチマークは,質問応答対を慎重にキュレートした,多様な実世界および合成ビデオで構成されている。 我々は,既存のモデルにおける基本的欠陥を浮き彫りにして,人間のベースラインと比較して重要なパフォーマンスギャップを識別する。
  論文  参考訳（メタデータ） (2025-08-04T06:06:06Z)
• Seamless Interaction: Dyadic Audiovisual Motion Modeling and Large-Scale Dataset [113.25650486482762]
  4000時間以上の対面インタラクション映像の大規模な収集であるSeamless Interactionデータセットを紹介した。 このデータセットは、ダイドの具体的ダイナミクスを理解するAIテクノロジの開発を可能にする。 そこで我々は,このデータセットを用いて,人間の発話に適応した動作ジェスチャーと表情を生成するモデル群を開発した。
  論文  参考訳（メタデータ） (2025-06-27T18:09:49Z)
• EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
  大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。 EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。 私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
  論文  参考訳（メタデータ） (2025-06-09T15:59:25Z)
• Learning Predictive Visuomotor Coordination [25.41320518416861]
  本研究は,ビジュモータモデリングのための予測に基づくタスクを導入する。 目標は、自我中心の視覚的および運動学的観察から頭部のポーズ、視線、上体の動きを予測することである。 我々は,エゴセントリックな視覚とキネマティックなシーケンスを統合した拡散に基づく運動モデリングフレームワークを拡張した。
  論文  参考訳（メタデータ） (2025-03-30T03:46:45Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Human Hands as Probes for Interactive Object Understanding [8.330625683887957]
  人間の手の動きと、関連するデータと必要な監視の両方を提供する方法の観察を実証する。 EPIC-KITCHENSデータセットにこれらの基本原理を適用し、状態に敏感な特徴をうまく学習する。
  論文  参考訳（メタデータ） (2021-12-16T18:58:03Z)
• Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions [81.88294320397826]
  システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。 文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。 ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
  論文  参考訳（メタデータ） (2021-10-07T15:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。