論文の概要: Info3R: Information-Adaptive Test-Time Training for 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2609.21938v1
- Date: Fri, 18 Sep 2026 15:55:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.174145
- Title: Info3R: Information-Adaptive Test-Time Training for 3D Reconstruction
- Title（参考訳）: Info3R:3次元再構成のための情報適応型テストタイムトレーニング
- Abstract要約: オンライン3次元再構成のための新しい情報適応型テストタイムトレーニング手法を提案する。
本稿では,各フレームの冗長性と情報性に基づいて,状態更新強度を変調する情報認識状態更新を提案する。
提案手法は, カメラポーズ推定, 映像深度推定, 3次元再構成における一貫した改善を実現する。
- 参考スコア（独自算出の注目度）: 8.127564137818698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based models have recently achieved strong performance on 3D reconstruction from images, and recent works extend them to process video streams in an online manner for real-world deployment. However, existing methods overlook two key signals when handling long image streams: the importance of each incoming frame and the information saturation of the model's internal state. In this paper, we propose Info3R, a novel information-adaptive test-time training method for the online 3D reconstruction. We introduce an information-aware state update that modulates the state update strength based on the redundancy and informativeness of each incoming frame. To restore the state's plasticity -- its capacity to incorporate new observations -- we propose a dynamic state reset, triggered by the cumulative magnitude of state updates and the model's prediction confidence and accompanied by an anchor-to-world alignment. Our method achieves consistent improvements on camera pose estimation, video depth estimation, and 3D reconstruction, while substantially mitigating the performance degradation in the long sequence evaluation. Notably, on KITTI Odometry, our method achieves on average 1.68x lower ATE than LongStream, demonstrating its robustness on extended outdoor sequences.
- Abstract（参考訳）: トランスフォーマーベースのモデルは最近、画像からの3D再構成において、強力なパフォーマンスを達成した。
しかし、既存の手法では、長い画像ストリームを扱う場合、各フレームの重要度とモデルの内部状態の情報飽和度という2つの重要な信号を見落としている。
本稿では,オンライン3D再構成のための情報適応型テストタイムトレーニング手法Info3Rを提案する。
本稿では,各フレームの冗長性と情報性に基づいて,状態更新強度を変調する情報認識状態更新を提案する。
状態の可塑性(新しい観測を組み込む能力)を回復するために、我々は、状態更新の累積的な大きさとモデルの予測信頼性によって引き起こされる動的状態リセットを提案し、それにはアンカー・トゥ・ワールドアライメントが伴う。
提案手法は, カメラポーズ推定, 映像深度推定, 3次元再構成における一貫した改善を実現し, 長周期評価における性能劣化を著しく軽減する。
特に、KITTIオドメトリでは、LongStreamよりも平均1.68倍低いATEで達成し、拡張アウトドアシーケンスに対するロバスト性を実証している。
関連論文リスト
- OnlineX: Unified Online 3D Reconstruction and Understanding with Active-to-Stable State Evolution [34.8105632078785]
フィードフォワードフレームワークであるOnlineXを導入し、ストリーミング画像のみを用いて3次元の視覚的外観と言語フィールドをオンライン的に再構築する。
我々のフレームワークは、メモリ状態を専用のアクティブな状態と永続的な安定な状態に分離し、その後、前者からの情報を結合して後者に融合させ、忠実性と安定性の両方を達成する。
論文 参考訳（メタデータ） (2026-03-02T17:52:02Z) - tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction [47.43504457409347]
tttLRMは、テストタイムトレーニング層を利用する新しい大型3D再構成モデルである。
本フレームワークは,TTT層の高速な重み付けに複数の画像観測を効率よく圧縮する。
オンライン学習モデルの変種は,ストリーミング観測による進行的な3次元再構成と改善を支援する。
論文 参考訳（メタデータ） (2026-02-23T18:59:45Z) - TTSA3R: Training-Free Temporal-Spatial Adaptive Persistent State for Streaming 3D Reconstruction [11.124244013253806]
ストリーミングリカレントモデルは、永続的な状態表現を維持することで効率的な3D再構成を可能にする。
近年の手法では、アダプティブシグナルを注意視点から導き出すことによってこれを緩和している。
本稿では,時間的状態の進化と空間的観察品質の両面を活用する,TTSA3Rというトレーニングフリーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-30T06:14:42Z) - Towards Geometry-Aware and Motion-Guided Video Human Mesh Recovery [60.51998732898099]
HMRMambaは3Dヒューマンメッシュリカバリのための新しいパラダイムである。
構造状態空間モデル(Structured State Space Models)をその効率性と長距離モデリングに利用した先駆者である。
まず、新しいデュアルスキャンのMambaアーキテクチャを特徴とするGeometry-Aware Lifting Moduleについて述べる。
論文 参考訳（メタデータ） (2026-01-29T08:05:02Z) - GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering [54.489285024494855]
ビデオの安定化は、元のユーザの動きの意図を保ちながら、望ましくないシャキネスを除去するので、ビデオ処理に欠かせない。
既存のアプローチは、運用するドメインによって、ユーザエクスペリエンスを低下させるいくつかの問題に悩まされます。
ビデオの安定化を時間的に一貫性のある局所的再構成とレンダリングのパラダイムとして再構成する,新しい3Dグラウンドアプローチである textbfGaVS を紹介する。
論文 参考訳（メタデータ） (2025-06-30T15:24:27Z) - UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳（メタデータ） (2024-04-23T00:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。