Fugu-MT 論文翻訳(概要): Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

論文の概要: Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

arxiv url: http://arxiv.org/abs/2606.02962v1
Date: Mon, 01 Jun 2026 23:46:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-03 22:00:04.643848
Title: Hand Trajectory Fusion for Egocentric Natural Language Query Grounding
Title（参考訳）: Egocentric Natural Language Query Groundingのためのハンドトラジェクトリ・フュージョン
Abstract要約: Egocentric Natural Language Query (NLQ) グラウンドでは、フリーフォームのテキストクエリに応答する時間間隔の長い1対1のビデオで、モデルをローカライズするよう求めている。ハンドスケルトン列を高意味的手動特性に変換するハンドトラジェクトリエンコーダを提案する。
参考スコア（独自算出の注目度）: 43.12758610402121
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Egocentric Natural Language Query (NLQ) grounding asks a model to localize, in a long first-person video, the temporal interval that answers a free-form text query. Existing methods fuse video appearance with the query but ignore hand motion, despite the fact that roughly 41% of Ego4D NLQ queries are answered at a moment of hand--object manipulation or their immediate outcomes.We propose a hand-trajectory encoder for converting a sequence of hand skeletons into highly-semantic hand kinematic features, which are then aligned and combined with pretrained video--text features through a cross-attention fusion strategy with adaptive gating. On the Ego4D NLQ v2 validation split, the clearest gains appear for Hand-Object Interaction queries (+2.54 R1@IoU=0.3) and Quantity/State queries (+4.32 R1@IoU=0.3), indicating that hand trajectory provides grounding cues beyond appearance alone.
Abstract（参考訳）: Egocentric Natural Language Query (NLQ) グラウンドでは、フリーフォームのテキストクエリに応答する時間間隔の長い1対1のビデオで、モデルをローカライズするよう求めている。 Ego4D NLQクエリの約41%が手動操作や即時結果の時点で答えられるにもかかわらず、既存の方法ではビデオの出現とクエリを融合させるが、手動動作を無視する。 Ego4D NLQ v2バリデーション分割では、ハンドオブジェクトインタラクションクエリ(+2.54 R1@IoU=0.3)とQuantity/Stateクエリ(+4.32 R1@IoU=0.3)に対して、最も明確なゲインが現れる。

関連論文リスト

DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
論文参考訳（メタデータ） (2026-08-20T17:46:24Z)
The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction [36.627109956900256]
ViDiHandは、エゴセントリックなビデオから4Dの手の動きを再現するためのパイプラインだ。予め訓練されたビデオ拡散モデルに基づいており、世界史を保存しながら手の特徴を専門とする。 ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れている。
論文参考訳（メタデータ） (2026-06-29T13:53:00Z)
EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting [11.687067206676625]
EggHandは、エゴセントリックな手ポーズ予測のための基盤モデルベースのフレームワークである。動的モーションモデリングとマルチモーダルなセマンティック推論を統一する。提案手法は,エゴモーション下でのジェネリックビジュアルエンコーダの脆さを克服する。
論文参考訳（メタデータ） (2026-05-08T12:09:27Z)
Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。 Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
論文参考訳（メタデータ） (2026-03-13T00:23:38Z)
MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation [28.75149480374178]
MEgoHandは、エゴセントリックなRGB、テキスト、初期手ポーズから物理的にプラウジブルなハンドオブジェクトインタラクションを合成するフレームワークである。手首の翻訳誤差と関節回転誤差の大幅な低減を実現し、手首の微細な関節構造を正確にモデル化する能力を強調している。
論文参考訳（メタデータ） (2025-05-22T12:37:47Z)
SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文参考訳（メタデータ） (2025-03-28T20:53:20Z)
Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning [71.02843679746563]
エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
論文参考訳（メタデータ） (2025-03-02T18:49:48Z)
OmniHands: Towards Robust 4D Hand Mesh Recovery via A Versatile Transformer [35.983309206845036]
OmniHandsは、対話型ハンドメッシュを回復するための普遍的なアプローチであり、モノクラーまたはマルチビュー入力からの相対的な動きを示す。我々は,新しいトークン化とコンテキスト的特徴融合戦略を備えたユニバーサルアーキテクチャを開発する。提案手法の有効性を,いくつかのベンチマークデータセットで検証した。
論文参考訳（メタデータ） (2024-05-30T17:59:02Z)
Vamos: Versatile Action Models for Video Understanding [23.631145570126268]
「多元的行動モデル(Vamos)は、大言語モデルを利用した学習フレームワークである。」 Ego4D,NeXT-QA,IntentQA,Spacewalk-18,Egoの5つのベンチマークでVamosを評価する。
論文参考訳（メタデータ） (2023-11-22T17:44:24Z)
Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
論文参考訳（メタデータ） (2023-06-08T19:54:08Z)
Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
論文参考訳（メタデータ） (2020-04-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。