論文の概要: Remember, Revisit, Revise: Scaffold Memory for Long-Horizon 3D Geometry
- arxiv url: http://arxiv.org/abs/2610.19674v1
- Date: Wed, 14 Oct 2026 06:50:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.99366
- Title: Remember, Revisit, Revise: Scaffold Memory for Long-Horizon 3D Geometry
- Title(参考訳): Revisit, Revise, Revise: 長距離3D幾何学のためのスキャフォールドメモリ
- Abstract要約: そこで,Scaffold MemOry for Revisionを紹介した。
生物学的脳における海馬の連想記憶にインスパイアされたSMOREは、観察者が観察するものがどこにあるのかを関連付け、過去の観察を保存し、回収し、新しい証拠に対して検証し、不整合が検出されたときに修正する。
すべての評価モデル全体で、SMOREは時系列ポーズ推定を一貫して改善し、マルチビュー深度誤差を最大58%削減し、3Dポイントクラウド再構成のためのチャンファー距離を最大43%削減し、平均軌道誤差を達成する。
- 参考スコア(独自算出の注目度): 9.47299331058798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geometry foundation models estimate camera poses and 3D scene structure from video sequences, but maintaining consistent reconstructions over long horizons remains challenging. Feed-forward models process long sequences as independent, fixed-length frame windows and align their predictions, causing pose and reconstruction errors to accumulate across windows. Streaming models retain information from past frames to inform future predictions, but cannot revise earlier estimates when later observations reveal errors. To address this, we introduce Scaffold MemOry for Revision (SMORE), a framework equipping frozen geometry foundation models with a revisable external memory for long-horizon inference. Inspired by hippocampal associative memory in biological brains, which links spatial context with sensory experience, SMORE associates where an observer is with what it observes, enabling past observations to be stored, retrieved, verified against new evidence, and revised when inconsistencies are detected. We evaluate SMORE with eight competitive geometry models on five datasets spanning camera pose estimation, multi-view depth estimation, 3D point-cloud reconstruction, simultaneous localization and mapping (SLAM), and novel view synthesis. Across all evaluated models, SMORE consistently improves long-sequence pose estimation, reduces multi-view depth error by up to 58%, reduces Chamfer distance for 3D point-cloud reconstruction by up to 43%, and achieves average trajectory error as low as 2.9 cm in long-horizon SLAM. By retaining corrected poses and observations, SMORE further improves the fidelity and spatial consistency of large-scale 3D scene reconstruction. These results establish revisable external memory as a flexible interface for extending pretrained geometry models beyond fixed-context prediction toward iterative, error-correcting inference over long visual sequences.
- Abstract(参考訳): 幾何学基礎モデルでは、ビデオシーケンスからカメラのポーズと3次元シーン構造を推定するが、長い地平線上で一貫した再構成を維持することは依然として困難である。
フィードフォワードモデルは、独立した固定長のフレームウィンドウとして長いシーケンスを処理し、それらの予測を整列させ、ウィンドウ全体にわたってポーズと再構成エラーを蓄積させる。
ストリーミングモデルは、将来の予測を知らせるために過去のフレームからの情報を保持するが、後続の観測でエラーが明らかになった場合、以前の見積もりを修正できない。
そこで本研究では,凍結幾何基礎モデルと,長期的推論のための変更可能な外部メモリを備えたフレームワークであるSaffold MemOry for Revision(SMORE)を紹介する。
SMOREは、生物学的脳における海馬の連想記憶にインスパイアされ、空間的コンテキストと感覚経験を結びつけることで、観察者が観察するものがどこにあるのかを関連づけ、過去の観察を保存し、検索し、新しい証拠に対して検証し、不整合が検出されたときに修正する。
カメラポーズ推定,多視点深度推定,3Dポイントクラウド再構成,同時局所化とマッピング(SLAM),新しいビュー合成を含む5つのデータセットを対象とした8つの競合幾何学モデルによるSMOREの評価を行った。
全ての評価モデル全体で、SMOREは時系列ポーズ推定を一貫して改善し、マルチビュー深度誤差を最大58%削減し、3Dポイントクラウド再構成のためのチャンファー距離を最大43%削減し、長水平SLAMで平均2.9cmの軌道誤差を達成する。
補正されたポーズと観察を保ちながら、SMOREは大規模3次元シーン再構成の忠実度と空間的整合性をさらに向上する。
これらの結果は、長い視覚的シーケンス上での反復的誤り訂正推論に向けて、固定コンテキスト予測を超えて事前学習された幾何学モデルを拡張するためのフレキシブルなインタフェースとして、変更可能な外部メモリを確立する。
関連論文リスト
- Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction [10.383154504465232]
ABot-Reconは、前の11フレームからKV機能をキャッシュするシンプルなストリーミングモデルである。
現在のカメラ座標系における点マップと、隣接するフレームの相対的なポーズを予測する。
蓄積ドリフトを低減するために、最近の視覚と運動のコンテキストを用いて、軽量の時間リファインダは相対回転を改善する。
論文 参考訳(メタデータ) (2026-08-27T15:07:38Z) - GeoWeaver: Accurate Long-Sequence 3D Reconstruction via Hierarchical Geometric Assembly [23.486108847409856]
RGBビデオからの長時間の3D再構成には、正確な局所幾何学と一貫したカメラモーションの両方が必要である。
Geometric Prior Model(GPM)とTest-Time Adaptation(TTA)を組み合わせた統合フレームワークGeoWeaverを提案する。
TTAは、シーケンシャルでグローバルなチャンクレベルSim(3)アライメントと、カメラのポーズ、アフィン深さ補正、および本質的な精細化を行う。
さまざまな時系列ベンチマークによる実験では、カメラの精度の向上、グローバルな一貫性、ポイントクラウドの品質が示されている。
論文 参考訳(メタデータ) (2026-08-18T05:29:31Z) - Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself [38.95274911975506]
Free Geometryは、フィードフォワードの3D再構成モデルが3D基底の真理なしにテスト時に自己進化することを可能にするフレームワークである。
当社のアプローチは、4つのベンチマークデータセットにまたがって、Depth Anything 3やVGGTといった最先端の基礎モデルを継続的に改善しています。
論文 参考訳(メタデータ) (2026-04-15T16:24:03Z) - Reliev3R: Relieving Feed-forward Reconstruction from Multi-View Geometric Annotations [98.66466590444553]
コスト制約のない多視点幾何アノテーションを使わずにFFRMをスクラッチからトレーニングするための弱教師付きパラダイムであるReliev3Rを提案する。
Reliev3Rのコアでは、多視点幾何整合性の監視を容易にするために、曖昧さを意識した相対深度損失と三角法に基づく再射損失を設計する。
論文 参考訳(メタデータ) (2026-04-01T06:46:54Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳(メタデータ) (2026-03-24T16:45:40Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳(メタデータ) (2024-10-29T15:28:15Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - Wide-Baseline Relative Camera Pose Estimation with Directional Learning [46.21836501895394]
提案するDirectionNetは,新しいパラメータ化を用いて5次元相対ポーズ空間上の離散分布を推定し,推定問題を抽出できるようにする。
本研究では,Matterport3DとInstituteNetから構築した合成・実ポーズ推定データセットについて検討した。
論文 参考訳(メタデータ) (2021-06-07T04:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。