論文の概要: EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
- arxiv url: http://arxiv.org/abs/2511.08007v1
- Date: Wed, 12 Nov 2025 01:33:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.595128
- Title: EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
- Title（参考訳）: EAGLE:Egocentric Visionにおける統合2D-3Dビジュアルクエリローカライゼーションのためのエピソードな外観と幾何学的認識メモリ
- Authors: Yifei Cao, Yu Liu, Guolong Wang, Zhu Liu, Kai Wang, Xianjie Zhang, Jizhe Yu, Xun Tu,
- Abstract要約: 本稿では,エゴセントリックな視覚における2D-3D視覚的クエリローカライゼーションを実現するために,エピソードな外観と幾何学的認識メモリを活用する新しいフレームワークを提案する。
提案手法は,Ego4D-VQベンチマークにおける最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 10.358197274014584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric visual query localization is vital for embodied AI and VR/AR, yet remains challenging due to camera motion, viewpoint changes, and appearance variations. We present EAGLE, a novel framework that leverages episodic appearance- and geometry-aware memory to achieve unified 2D-3D visual query localization in egocentric vision. Inspired by avian memory consolidation, EAGLE synergistically integrates segmentation guided by an appearance-aware meta-learning memory (AMM), with tracking driven by a geometry-aware localization memory (GLM). This memory consolidation mechanism, through structured appearance and geometry memory banks, stores high-confidence retrieval samples, effectively supporting both long- and short-term modeling of target appearance variations. This enables precise contour delineation with robust spatial discrimination, leading to significantly improved retrieval accuracy. Furthermore, by integrating the VQL-2D output with a visual geometry grounded Transformer (VGGT), we achieve a efficient unification of 2D and 3D tasks, enabling rapid and accurate back-projection into 3D space. Our method achieves state-ofthe-art performance on the Ego4D-VQ benchmark.
- Abstract（参考訳）: エゴセントリックなビジュアルクエリローカライゼーションは、AIとVR/ARの具体化には不可欠だが、カメラの動き、視点の変化、外観の変化によって依然として難しい。
エゴセントリック視覚における2D-3D視覚的クエリローカライゼーションを実現するために,エピソードな外観と幾何学的認識メモリを活用する新しいフレームワークであるEAGLEを提案する。
鳥のメモリ統合に触発されたEAGLEは、外観認識メタラーニングメモリ(AMM)によって誘導されるセグメンテーションと、幾何学認識ローカライゼーションメモリ(GLM)によって駆動されるトラッキングを相乗的に統合する。
このメモリ統合機構は、構造化された外観と幾何学的記憶バンクを通じて、高信頼度検索サンプルを格納し、ターゲットの外観変動の長期的および短期的モデリングを効果的に支援する。
これにより、空間的識別が堅牢な正確な輪郭デライン化が可能となり、精度が大幅に向上する。
さらに、VQL-2D出力を視覚的基底変換器(VGGT)に統合することにより、2Dおよび3Dタスクの効率的な統合を実現し、3D空間への高速かつ正確なバックプロジェクションを実現する。
提案手法は,Ego4D-VQベンチマークにおける最先端性能を実現する。
関連論文リスト
- EA3D: Online Open-World 3D Object Extraction from Streaming Videos [55.48835711373918]
オープンワールド3Dオブジェクト抽出のための統合オンラインフレームワークであるExtractAnything3D(EA3D)を提案する。
ストリーミングビデオが与えられると、EA3Dは視覚言語と2D視覚基盤エンコーダを使用して各フレームを動的に解釈し、オブジェクトレベルの知識を抽出する。
リカレントな共同最適化モジュールは、モデルの関心領域への注意を向け、幾何学的再構成と意味的理解の両面を同時に強化する。
論文 参考訳（メタデータ） (2025-10-29T03:56:41Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - Mesh-Gait: A Unified Framework for Gait Recognition Through Multi-Modal Representation Learning from 2D Silhouettes [36.964703204465664]
我々は、新しいエンドツーエンドの歩行認識フレームワークであるMesh-Gaitを紹介する。
2Dシルエットから3D表現を直接再構成する。
Mesh-Gaitは最先端の精度を実現する。
論文 参考訳（メタデータ） (2025-10-12T01:49:05Z) - Unlocking 3D Affordance Segmentation with 2D Semantic Knowledge [45.19482892758984]
Affordance segmentationは、3Dオブジェクトを機能的に異なる部分にパースすることを目的としている。
我々は,3次元エンコーダを昇降した2次元意味論と整合させ,再現,親和性,多様性を共同で最適化し,意味的に整理された表現を得るための事前学習戦略であるCross-Modal Affinity Transfer (CMAT)を導入する。
さらに,マルチモーダルプロンプトとCMAT対応機能を統合し,高精度かつ迅速なセグメンテーションマップを生成するCAST (Cross-modal Affordance Transformer) を設計する。
論文 参考訳（メタデータ） (2025-10-09T15:01:26Z) - 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。
人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。
本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
論文 参考訳（メタデータ） (2025-06-11T15:56:59Z) - Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。
我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。
コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
論文 参考訳（メタデータ） (2025-05-29T17:59:04Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳（メタデータ） (2025-05-26T17:56:30Z) - NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation [14.046423852723615]
本稿では,3次元ガウシアン・スプレイティングに基づくハードビジュアル・プロンプト手法を導入し,対象物に関する多様な視点を創出する。
提案手法は現実的な3次元視点をシミュレートし,既存のハード・ビジュアル・プロンプトを効果的に増強する。
このトレーニングフリー戦略は、事前のハード・ビジュアル・プロンプトとシームレスに統合され、オブジェクト記述的特徴が強化される。
論文 参考訳（メタデータ） (2025-04-20T14:39:27Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。