論文の概要: Visual Intention Grounding for Egocentric Assistants

• arxiv url: http://arxiv.org/abs/2504.13621v1
• Date: Fri, 18 Apr 2025 10:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:04:58.410168
• Title: Visual Intention Grounding for Egocentric Assistants
• Title（参考訳）: エゴセントリックアシスタントのための視覚的意図グラウンド
• Authors: Pengzhan Sun, Junbin Xiao, Tze Ho Elden Tse, Yicong Li, Arjun Akula, Angela Yao,
• Abstract要約: AIアシスタントのようなアプリケーションでは、視点シフト -- 入力は自我中心であり、オブジェクトはニーズや意図を通じて暗黙的に参照される。 EgoIntentionは、egocentric visual intention groundingの最初のデータセットである。
• 参考スコア（独自算出の注目度）: 40.85508108321981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual grounding associates textual descriptions with objects in an image. Conventional methods target third-person image inputs and named object queries. In applications such as AI assistants, the perspective shifts -- inputs are egocentric, and objects may be referred to implicitly through needs and intentions. To bridge this gap, we introduce EgoIntention, the first dataset for egocentric visual intention grounding. EgoIntention challenges multimodal LLMs to 1) understand and ignore unintended contextual objects and 2) reason about uncommon object functionalities. Benchmark results show that current models misidentify context objects and lack affordance understanding in egocentric views. We also propose Reason-to-Ground (RoG) instruction tuning; it enables hybrid training with normal descriptions and egocentric intentions with a chained intention reasoning and object grounding mechanism. RoG significantly outperforms naive finetuning and hybrid training on EgoIntention, while maintaining or slightly improving naive description grounding. This advancement enables unified visual grounding for egocentric and exocentric visual inputs while handling explicit object queries and implicit human intentions.
• Abstract（参考訳）: ビジュアルグラウンドは、画像内のオブジェクトとテキスト記述を関連付ける。 従来の方法では、サードパーティイメージインプットと名前付きオブジェクトクエリをターゲットとしていた。 AIアシスタントのようなアプリケーションでは、視点シフト -- 入力は自我中心であり、オブジェクトはニーズや意図を通じて暗黙的に参照される。 このギャップを埋めるために、エゴセントリックな視覚的意図の接地のための最初のデータセットであるEgoIntentionを紹介します。 EgoIntention はマルチモーダル LLM に挑戦する 1)意図しない文脈オブジェクトを理解して無視すること 2) 一般的でないオブジェクトの機能に関する理由。 ベンチマークの結果、現在のモデルはコンテキストオブジェクトを誤識別し、エゴセントリックな視点における余裕の欠如を示している。 また,通常の記述と自我中心の意図と,連鎖した意図の推論と物体の接地機構を併用したハイブリッドトレーニングを可能にする。 RoGは、ナイーブな微調整とハイブリッドなトレーニングをEgoIntentionで大幅に上回り、ナイーブな記述基盤を維持するか、わずかに改善する。 この進歩は、明示的なオブジェクトクエリと暗黙の人間の意図を処理しながら、エゴセントリックでエクソセントリックな視覚入力の統一的な視覚的接地を可能にする。

関連論文リスト

• Object Aware Egocentric Online Action Detection [23.504280692701272]
  我々は,egocentric-specific presを既存のオンライン行動検出フレームワークに統合するObject-Aware Moduleを紹介した。 私たちの作業は最小限のオーバーヘッドで既存のモデルにシームレスに統合することができ、一貫したパフォーマンス向上をもたらします。
  論文  参考訳（メタデータ） (2024-06-03T07:58:40Z)
• EMAG: Ego-motion Aware and Generalizable 2D Hand Forecasting from Egocentric Videos [9.340890244344497]
  2次元手の位置を予測するための既存の手法は視覚的表現に依存しており、主に手動物体の相互作用に焦点を当てている。 本研究では,エゴモーション認識と一般化可能な2次元手指予測手法であるEMAGを提案する。 本モデルでは,従来手法よりも1.7%,7.0%性能が向上した。
  論文  参考訳（メタデータ） (2024-05-30T13:15:18Z)
• Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions? [48.702973928321946]
  Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。 既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは簡単な修正によって容易に誤認できることがわかった。 EgoVLMは手動オブジェクトの相互作用を本当に理解していますか?
  論文  参考訳（メタデータ） (2024-05-28T00:27:29Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• LEGO: Learning EGOcentric Action Frame Generation via Visual Instruction Tuning [27.661804052577825]
  我々は、エゴセントリックなアクションフレーム生成という新しい問題を導入する。 ユーザプロンプトと入力エゴセントリック画像に条件付けすることで、ユーザのコンテキスト(例えばアクションフレーム)におけるアクションを描写した画像を合成する。
  論文  参考訳（メタデータ） (2023-12-06T19:02:40Z)
• Egocentric Audio-Visual Object Localization [51.434212424829525]
  本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。 エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。 視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-03-23T17:43:11Z)
• EgoTaskQA: Understanding Human Tasks in Egocentric Videos [89.9573084127155]
  EgoTaskQAベンチマークは、現実世界のエゴセントリックなビデオに対する質問回答を通じて、タスク理解の重要な次元を提供する。 我々は,(1)行動依存と効果,(2)意図と目標,(3)エージェントの他者に対する信念の理解を念頭に設計する。 我々は、我々のベンチマークで最先端のビデオ推論モデルを評価し、複雑なゴール指向のエゴセントリックなビデオを理解する上で、人間の間に大きなギャップがあることを示します。
  論文  参考訳（メタデータ） (2022-10-08T05:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。