論文の概要: Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
- arxiv url: http://arxiv.org/abs/2604.03667v1
- Date: Sat, 04 Apr 2026 09:38:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.710875
- Title: Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
- Title（参考訳）: エゴセントリックビデオからの人間と物体の相互作用予測のためのVLLMにおける迷路とマルコムの設定
- Abstract要約: この研究は、視覚大言語モデル(VLLM)を用いた自我中心視における人間と物体の相互作用予測の問題に対処する。
我々は,最新の視線修正によって形成される軌道を通じて,ユーザの意図を刺激し,理解することで,視覚的グラウンド機能を改善することで,既存のアプローチにおける重要な制限に対処する。
エゴセントリックなデータセットであるHD-EPICを用いて行った実験では,提案手法が課題に対する最先端のアプローチを超越し,そのモデルに依存しない性質を示した。
- 参考スコア（独自算出の注目度）: 13.593493129298553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to anticipate human-object interactions is highly desirable in an intelligent assistive system in order to guide users during daily life activities and understand their short and long-term goals. Creating systems with such capabilities requires to approach several complex challenges. This work addresses the problem of human-object interaction anticipation in Egocentric Vision using Vision Large Language Models (VLLMs). We tackle key limitations in existing approaches by improving visual grounding capabilities through Set-of-Mark prompting and understanding user intent via the trajectory formed by the user's most recent gaze fixations. To effectively capture the temporal dynamics immediately preceding the interaction, we further introduce a novel inverse exponential sampling strategy for input video frames. Experiments conducted on the egocentric dataset HD-EPIC demonstrate that our method surpasses state-of-the-art approaches for the considered task, showing its model-agnostic nature.
- Abstract（参考訳）: ヒューマン・オブジェクト・インタラクションを予測できる能力は、日常生活活動中のユーザを誘導し、短期的・長期的目標を理解するために、インテリジェント・アシスト・システムにおいて非常に望ましい。
そのような機能を持つシステムを作るには、いくつかの複雑な課題に取り組む必要がある。
この研究は、視覚大言語モデル(VLLM)を用いた自我中心視における人間と物体の相互作用予測の問題に対処する。
我々は,最新の視線修正によって形成される軌道を通じて,ユーザの意図を刺激し,理解することで,視覚的グラウンド機能を改善することで,既存のアプローチにおける重要な制限に対処する。
インタラクションの直前の時間的ダイナミクスを効果的に捉えるために,入力ビデオフレームに対して,新しい逆指数的サンプリング戦略を導入する。
エゴセントリックなデータセットであるHD-EPICを用いて行った実験では,提案手法が課題に対する最先端のアプローチを超越し,そのモデルに依存しない性質を示した。
関連論文リスト
- Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI [0.5156484100374058]
エゴセントリックなビデオは、着用者の視点からアクティビティを捉え、人間の注意、手-物間相互作用、ゴール指向の行動の直接的なビューを提供する。
現在のモデルは、特に長時間の活動において、対話、アクション、ユーザー意図の進化よりも、可視オブジェクトを確実に認識する。
デプロイ可能なエンボディードインテリジェンスにとって重要な優先事項として,時間的基盤の推論,インタラクション対応の監視,効率的な長ビデオ処理,マルチモーダル融合,グラフ強化表現,クロスドメインの一般化,プライバシ,信頼に値する評価を挙げる。
論文 参考訳（メタデータ） (2026-08-19T08:21:58Z) - LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks [71.05217306468857]
LifeEvalは、リアルタイムでタスク指向の人間とAIのコラボレーションを評価するために設計されたマルチモーダルベンチマークである。
LifeEvalは、タスク指向の全体的評価、連続したファーストパーソンストリームからのエゴセントリックなリアルタイム認識、自然な対話による人間と人間の協力的な相互作用の3つの重要な側面を強調している。
論文 参考訳（メタデータ） (2026-02-28T06:05:31Z) - Act, Sense, Act: Learning Non-Markovian Active Perception Strategies from Large-Scale Egocentric Human Data [30.493131697188627]
我々は、情報ゲインと意思決定分岐によって駆動される非マルコフ過程として能動的知覚を定式化する。
本稿では,認知と記憶を意識した視覚言語アクションフレームワークCoMe-VLAを紹介する。
本フレームワークは,自律的なサブタスク遷移のための認知補助ヘッドと,一貫した自己および環境意識を維持するためのデュアルトラックメモリシステムを統合する。
論文 参考訳（メタデータ） (2026-02-04T14:28:14Z) - Motion Focus Recognition in Fast-Moving Egocentric Video [17.363244905814756]
本研究では,任意の自我中心映像から対象者の意図を推定するリアルタイムな動き焦点認識手法を提案する。
本手法は,収集したエゴセントリックな行動データセットに基づいて,管理可能なメモリ消費によるリアルタイム性能を実現する。
論文 参考訳（メタデータ） (2026-01-12T02:53:51Z) - In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting [12.567763863700058]
EgoGazeVQAは、エゴセントリックな視線誘導型ビデオ質問応答ベンチマークである。
実験の結果,既存のMLLMはユーザの意図を正確に解釈するのに苦労していることがわかった。
我々の視線誘導インテントプロンプト法は性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-09-09T07:11:56Z) - VLM4D: Towards Spatiotemporal Awareness in Vision Language Models [66.833085504228]
V4DLMは視覚言語モデル(VLM)を評価するために設計された最初のベンチマークである。
本ベンチマークは,質問応答対を慎重にキュレートした,多様な実世界および合成ビデオで構成されている。
我々は,既存のモデルにおける基本的欠陥を浮き彫りにして,人間のベースラインと比較して重要なパフォーマンスギャップを識別する。
論文 参考訳（メタデータ） (2025-08-04T06:06:06Z) - I-MPN: Inductive Message Passing Network for Efficient Human-in-the-Loop Annotation of Mobile Eye Tracking Data [4.487146086221174]
本稿では,移動眼球追跡設定における物体の自動認識のための新しい人間中心学習アルゴリズムを提案する。
提案手法は,オブジェクト検出器と空間的関係を考慮した誘導型メッセージパッシングネットワーク(I-MPN)をシームレスに統合し,ノードプロファイル情報を活用し,オブジェクト相関を捉える。
論文 参考訳（メタデータ） (2024-06-10T13:08:31Z) - Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。
本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:34:01Z) - PALM: Predicting Actions through Language Models [74.10147822693791]
本稿では,長期的行動予測の課題に取り組むアプローチであるPALMを紹介する。
本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。
実験の結果,PALMは長期的な行動予測作業において最先端の手法を超越していることがわかった。
論文 参考訳（メタデータ） (2023-11-29T02:17:27Z) - Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
視覚力学モデリングのための新しい連続学習手法を提案する。
まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。
そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
論文 参考訳（メタデータ） (2023-03-12T05:08:03Z) - Weakly Supervised Human-Object Interaction Detection in Video via
Contrastive Spatiotemporal Regions [81.88294320397826]
システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。
文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。
ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
論文 参考訳（メタデータ） (2021-10-07T15:30:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。