論文の概要: RayTun3R: Online Camera Adaptation in 3D Foundation Models
- arxiv url: http://arxiv.org/abs/2607.02711v1
- Date: Thu, 02 Jul 2026 18:55:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.400304
- Title: RayTun3R: Online Camera Adaptation in 3D Foundation Models
- Title（参考訳）: RayTun3R:3Dファウンデーションモデルによるオンラインカメラ適応
- Abstract要約: 最近の3Dファウンデーションモデルは、強力なフィードフォワード深度を提供し、ピンホールのイメージを推定するが、魚眼カメラ幾何学の下では鋭く劣化する。
この失敗は、事前訓練された3次元基礎モデルの位置符号化におけるピンホールカメラバイアスによってもたらされることを示す。
軽量カメラ適応手法であるRayTun3Rを提案する。
- 参考スコア（独自算出の注目度）: 53.97305597591864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent 3D foundation models, such as DUSt3R, MASt3R, VGGT, $π^3$, and Depth Anything 3, provide strong feed-forward depth and pose estimates on pinhole imagery, but degrade sharply under fisheye camera geometry. We show that this failure is partly caused by a pinhole camera bias in the positional encodings of pretrained 3D foundation models, and propose RayTun3R, a lightweight camera adaptation approach. It keeps the pretrained network fixed and adapts only lightweight components tied to token position and camera geometry. RayTun3R learns parameter-efficient residual corrections to absolute and rotary positional encodings, together with parameter-free tokenization and corrections to prediction-grid coordinates that remove residual pinhole assumptions. The resulting adapter contains only 10,752 trainable parameters and can be learned from a short temporal segment using geometric losses. Once adapted, RayTun3R transfers effectively to the remaining frames of the sequence without incurring additional runtime costs. Across diverse fisheye datasets with fields of view from $110^\circ$ to $200^\circ$, our adapter reduces rotation error by $2$-$12\times$ relative to the unadapted model, outperforms LoRA while using $\sim\!14\times$ fewer trainable parameters, improves pose over adaptation-free baselines while avoiding their multi-view inference cost, and remains competitive on depth accuracy.
- Abstract（参考訳）: DUSt3R, MASt3R, VGGT, $π^3$, Depth Anything 3などの最近の3Dファンデーションモデルは、強力なフィードフォワード深度を提供し、ピンホールの画像を推定する。
この故障は、事前訓練された3D基礎モデルの位置符号化におけるピンホールカメラバイアスが原因であることを示し、軽量なカメラ適応手法であるRayTun3Rを提案する。
事前訓練されたネットワークを固定し、トークンの位置とカメラの幾何学に結びついた軽量なコンポーネントにのみ適応する。
RayTun3Rはパラメータ非効率な残差補正から絶対的および回転的位置符号化、パラメータフリーなトークン化と残差ピンホール仮定を除去する予測格子座標の補正を学習する。
結果として得られるアダプタは10,752個のトレーニング可能なパラメータのみを含み、幾何学的損失を用いて短い時間セグメントから学習することができる。
一度適応すると、RayTun3Rは追加のランタイムコストを発生させることなく、シーケンスの残りのフレームに効果的に転送する。
さまざまな魚眼データセットの視野を$10^\circ$から$200^\circ$に分けて、我々のアダプタは、未適応モデルと比較して回転誤差を$2-$12\times$に減らし、$\sim\!を使いながらLoRAを上回る。
14\times$ トレーニング可能なパラメータを少なくし、多視点推論コストを回避しつつ、適応不要のベースラインよりもポーズを改善し、深さ精度で競争力を維持する。
関連論文リスト
- OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。
射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。
代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
論文 参考訳（メタデータ） (2026-09-08T19:45:58Z) - Towards Camera-Robust 3D Localization: Equation-Anchored Tool-Use for MLLMs [72.8641426724502]
MLLM(Multimodal Large Language Models)における3次元ローカライゼーションは、カメラ固有の曖昧さによって制限される。
本稿では,空間ツールを式変数として再活用する,等式対応型ツール利用フレームワークを提案する。
提案手法は,RGBのみのベースラインとツール拡張ベースラインよりも優れており,カメラがトレーニングスケールから最も逸脱する点において,大きな効果がある。
論文 参考訳（メタデータ） (2026-05-19T08:30:21Z) - Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses [5.987299558427844]
Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。
本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
論文 参考訳（メタデータ） (2026-03-30T18:18:56Z) - LoRA3D: Low-Rank Self-Calibration of 3D Geometric Foundation Models [36.17554088247551]
LoRA3Dは3次元幾何学的基礎モデルのための効率的な自己校正パイプラインである。
我々は、ロバストな最適化手法を利用して、多視点予測を洗練し、それらをグローバルな座標フレームに整列させる。
本手法は,$textbfsingle標準GPU上での自己校正処理を5分以内で完了する。
論文 参考訳（メタデータ） (2024-12-10T18:45:04Z) - InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。
InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。
3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - Camera Calibration through Geometric Constraints from Rotation and
Projection Matrices [4.100632594106989]
本稿では,カメラの内在的・外在的パラメータを測定するための制約に基づく新たな損失を提案する。
我々の手法は、ニューラルネットワークの学習能力を利用して、望ましいパラメータを推定するハイブリッドアプローチである。
提案手法は,最新のSOTA(State-of-the-art)ベンチマークと比較して,全パラメータにまたがる改善を示す。
論文 参考訳（メタデータ） (2024-02-13T13:07:34Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification
for Cameras with Optical Image Stabilization System [16.390775530663618]
本稿では,ポーズ推定や3次元再構成をリアルタイムで行うニューラルネットワークによる新しい手法を提案する。
提案する動的内在性ポーズ推定ネットワークをDIME-Netと名付け,3つのモバイルデバイス上で実装およびテストを行った。
いずれの場合も、DIME-Netはリジェクションエラーを少なくとも6,4$%削減できる。
論文 参考訳（メタデータ） (2023-03-20T17:45:12Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳（メタデータ） (2021-07-08T15:19:36Z) - Fisheye Distortion Rectification from Deep Straight Lines [34.61402494687801]
本稿では,魚眼の歪み補正問題に対処するため,新しいラインアウェア整流ネットワーク(LaRecNet)を提案する。
本モデルでは,幾何的精度と画質の両面から最先端の性能を実現する。
特に、LaRecNetによって修正された画像は、基幹よりも高いピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)を達成する。
論文 参考訳（メタデータ） (2020-03-25T13:20:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。