論文の概要: Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses

• arxiv url: http://arxiv.org/abs/2603.28896v1
• Date: Mon, 30 Mar 2026 18:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:02.660215
• Title: Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses
• Title（参考訳）: Fisheye3R:魚眼レンズに統一された3Dフィードフォワードモデルを適用する
• Authors: Ruxiao Duan, Erin Hong, Dongxu Zhao, Eric Turner, Alex Wong, Yunwen Zhou,
• Abstract要約: Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。 本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
• 参考スコア（独自算出の注目度）: 5.987299558427844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feed-forward foundation models for multi-view 3-dimensional (3D) reconstruction have been trained on large-scale datasets of perspective images; when tested on wide field-of-view images, e.g., from a fisheye camera, their performance degrades. Their error arises from changes in spatial positions of pixels due to a non-linear projection model that maps 3D points onto the 2D image plane. While one may surmise that training on fisheye images would resolve this problem, there are far fewer fisheye images with ground truth than perspective images, which limit generalization. To enable inference on imagery exhibiting high radial distortion, we propose Fisheye3R, a novel adaptation framework that extends these multi-view 3D reconstruction foundation models to natively accommodate fisheye inputs without performance regression on perspective images. To address the scarcity of fisheye images and ground truth, we introduce flexible learning schemes that support self-supervised adaptation using only unlabeled perspective images and supervised adaptation without any fisheye training data. Extensive experiments across three foundation models, including VGGT, $π^3$, and MapAnything, demonstrate that our approach consistently improves camera pose, depth, point map, and field-of-view estimation on fisheye images.
• Abstract（参考訳）: 多視点3次元再構成のためのフィードフォワード基礎モデルは、視点画像の大規模データセットに基づいて訓練されている。 これらの誤差は、3次元の点を2次元画像面にマッピングする非線形投影モデルによる画素の空間的位置の変化から生じる。 魚眼画像の訓練がこの問題を解決してくれると推測されるが、視線画像よりも地上の真理を持つ魚眼画像の方がはるかに少ないため、一般化は制限されている。 視線歪みの高い画像の推測を可能にするために,これらの多視点3D再構成基盤モデルを拡張した新しい適応フレームワークであるFisheye3Rを提案する。 魚眼画像の不足と地上の真実に対処するため,未ラベルの視点画像のみを用いた自己教師付き適応と,魚眼訓練データなしで教師付き適応を支援する柔軟な学習手法を提案する。 VGGT,$π^3$,MapAnythingを含む3つの基礎モデルに対する大規模な実験により,魚眼画像のカメラポーズ,奥行き,点マップ,視野推定が一貫して改善されることが実証された。

関連論文リスト

• Benchmarking Multi-View BEV Object Detection with Mixed Pinhole and Fisheye Cameras [5.227238848375275]
  我々は、KITTI-360をnuScenesフォーマットに変換することで、混合カメラを用いたマルチビューBEV検出ベンチマークを導入する。 本研究は,ゼロショット評価のための修正とnuScenes訓練モデルの微調整の3つの適応を含む。 プロジェクションフリーアーキテクチャは本質的に他のVTMよりも頑丈で,魚眼の歪みに対して有効であることを示す。
  論文  参考訳（メタデータ） (2026-03-29T19:10:34Z)
• Exploring Surround-View Fisheye Camera 3D Object Detection [44.09164098759971]
  本研究では,サラウンドビュー魚眼カメラシステムによるエンドツーエンド3Dオブジェクト検出の実現の可能性について検討する。 魚眼画像のユニークな形状を主流検出フレームワークに組み込む2つの手法を開発した。 魚眼3DOD実験の結果,我々の魚眼互換モデルでは,基準法よりも最大6.2%精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-11-24T02:28:56Z)
• UniK3D: Universal Camera Monocular 3D Estimation [62.06785782635153]
  カメラをモデル化可能なモノクル3D推定法として,UniK3Dを提案する。 本手法では, 球面3次元表現を導入し, カメラとシーンの形状をよりよく切り離すことができる。 13の多様なデータセットに対する包括的なゼロショット評価は、3D、ディープ、カメラメトリクスにわたるUniK3Dの最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-20T17:49:23Z)
• FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera [8.502741852406904]
  魚眼カメラに適した自己監督深度推定モデルである魚眼深度について述べる。 魚眼カメラモデルを訓練中の投射と再投射の段階に組み込んで画像歪みの処理を行う。 また、連続するフレーム間の幾何学的投影に実際のポーズ情報を組み込んで、従来のポーズネットワークで推定されたポーズを置き換える。
  論文  参考訳（メタデータ） (2024-09-23T14:31:42Z)
• Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras [17.75361921797657]
  魚眼カメラのプロジェクション変換と勾配を再現する新しい手法である魚眼-GSを紹介する。 我々の手法は他の効率的な3Dレンダリング手法にモジュールとしてシームレスに統合することができる。
  論文  参考訳（メタデータ） (2024-09-07T07:53:40Z)
• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• FisheyeEX: Polar Outpainting for Extending the FoV of Fisheye Lens [84.12722334460022]
  魚眼レンズは、広視野(FoV)のため、計算写真や運転支援における応用が増大する 本稿では,魚眼レンズのFoVを拡張した魚眼EX法を提案する。 以上の結果から,本手法は従来の魚眼画像よりも27%多く,最先端の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-06-12T21:38:50Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。