論文の概要: Hand Trajectory Fusion for Egocentric Natural Language Query Grounding
- arxiv url: http://arxiv.org/abs/2606.02962v1
- Date: Mon, 01 Jun 2026 23:46:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.643848
- Title: Hand Trajectory Fusion for Egocentric Natural Language Query Grounding
- Title（参考訳）: Egocentric Natural Language Query Groundingのためのハンドトラジェクトリ・フュージョン
- Authors: Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García,
- Abstract要約: Egocentric Natural Language Query (NLQ) グラウンドでは、フリーフォームのテキストクエリに応答する時間間隔の長い1対1のビデオで、モデルをローカライズするよう求めている。
ハンドスケルトン列を高意味的手動特性に変換するハンドトラジェクトリエンコーダを提案する。
- 参考スコア（独自算出の注目度）: 43.12758610402121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Egocentric Natural Language Query (NLQ) grounding asks a model to localize, in a long first-person video, the temporal interval that answers a free-form text query. Existing methods fuse video appearance with the query but ignore hand motion, despite the fact that roughly 41% of Ego4D NLQ queries are answered at a moment of hand--object manipulation or their immediate outcomes.We propose a hand-trajectory encoder for converting a sequence of hand skeletons into highly-semantic hand kinematic features, which are then aligned and combined with pretrained video--text features through a cross-attention fusion strategy with adaptive gating. On the Ego4D NLQ v2 validation split, the clearest gains appear for Hand-Object Interaction queries (+2.54 R1@IoU=0.3) and Quantity/State queries (+4.32 R1@IoU=0.3), indicating that hand trajectory provides grounding cues beyond appearance alone.
- Abstract（参考訳）: Egocentric Natural Language Query (NLQ) グラウンドでは、フリーフォームのテキストクエリに応答する時間間隔の長い1対1のビデオで、モデルをローカライズするよう求めている。
Ego4D NLQクエリの約41%が手動操作や即時結果の時点で答えられるにもかかわらず、既存の方法ではビデオの出現とクエリを融合させるが、手動動作を無視する。
Ego4D NLQ v2バリデーション分割では、ハンドオブジェクトインタラクションクエリ(+2.54 R1@IoU=0.3)とQuantity/Stateクエリ(+4.32 R1@IoU=0.3)に対して、最も明確なゲインが現れる。
関連論文リスト
- EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting [11.687067206676625]
EggHandは、エゴセントリックな手ポーズ予測のための基盤モデルベースのフレームワークである。
動的モーションモデリングとマルチモーダルなセマンティック推論を統一する。
提案手法は,エゴモーション下でのジェネリックビジュアルエンコーダの脆さを克服する。
論文 参考訳（メタデータ） (2026-05-08T12:09:27Z) - Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。
Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。
我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
論文 参考訳（メタデータ） (2026-03-13T00:23:38Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-28T20:53:20Z) - OmniHands: Towards Robust 4D Hand Mesh Recovery via A Versatile Transformer [35.983309206845036]
OmniHandsは、対話型ハンドメッシュを回復するための普遍的なアプローチであり、モノクラーまたはマルチビュー入力からの相対的な動きを示す。
我々は,新しいトークン化とコンテキスト的特徴融合戦略を備えたユニバーサルアーキテクチャを開発する。
提案手法の有効性を,いくつかのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2024-05-30T17:59:02Z) - Learning Fine-grained View-Invariant Representations from Unpaired
Ego-Exo Videos via Temporal Alignment [71.16699226211504]
我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。
そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。
評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
論文 参考訳（メタデータ） (2023-06-08T19:54:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。