論文の概要: From Perspective to Fisheye Depth Estimation and Open-Vocabulary Segmentation

• arxiv url: http://arxiv.org/abs/2608.27860v1
• Date: Fri, 28 Aug 2026 03:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.187659
• Title: From Perspective to Fisheye Depth Estimation and Open-Vocabulary Segmentation
• Title（参考訳）: 魚眼深度推定と開語彙セグメンテーションへの展望
• Abstract要約: 魚眼カメラの視覚基礎モデルを一般化する手法を提案する。 我々の手法の要点は、DEX(Distortion Extender)と呼ばれる学習可能なパラメータのセットにある。 DEXは魚眼画像の潜伏埋め込みを視点画像に似せて高忠実度推定を復元する。
• 参考スコア（独自算出の注目度）: 6.335915125785494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision foundation models are capable of generalizing across 3-dimensional (3D) scenes with high-fidelity estimates; their empirical success can be attributed to training on large-scale datasets of perspective images. However, when transferred to wide field-of-view (FoV) images, such as those captured by fisheye cameras, they return erroneous outputs due to a covariate shift stemming from the radial distortion on the image pixels. We propose a method to generalize vision foundation models to fisheye cameras. The crux of our method lies in a set of learnable parameters, termed Distortion Extenders (DEX), that model the fisheye distortion coefficients and the distributional shift between fisheye and perspective images encoded in the latent space. By minimizing a self-supervised alignment loss, DEX transforms the latent embeddings of fisheye images to resemble those of perspective images to recover high-fidelity estimates. DEX is architecture- and task-agnostic: We demonstrate DEX on monocular depth estimation and open-vocabulary segmentation for convolution- and Transformer-based architectures, where we consistently improve over baselines across indoor and outdoor fisheye datasets. As a byproduct, the activations of DEX can also be decoded to distortion coefficients to support camera calibration. Code available at: https://github.com/Suchisrit/DEX.
• Abstract（参考訳）: 視覚基礎モデルは高忠実度推定で3次元(3D)シーンを一般化することができる。 しかし、魚眼カメラで捉えたような広視野(FoV)画像に転送されると、画像画素の放射歪みに起因する共変量シフトによって、誤った出力が返される。 魚眼カメラの視覚基礎モデルを一般化する手法を提案する。 提案手法の要点は,魚眼歪み係数と,潜時空間に符号化された魚眼と遠近視画像の分布変化をモデル化した,DEX(Distortion Extender)と呼ばれる学習可能なパラメータのセットにある。 自己監督的なアライメント損失を最小限にすることで、DECは魚眼画像の潜伏埋め込みを視点画像に似せて高忠実度推定を復元する。 DEXはアーキテクチャとタスクに依存しない: コンボリューションとトランスフォーマーに基づくアーキテクチャのための単眼深度推定とオープンボキャブラリセグメンテーションに関するDEXを実証する。 副産物として、DEXのアクティベーションは、カメラキャリブレーションをサポートする歪み係数にデコードすることもできる。 コードは、https://github.com/Suchisrit/DEX.comで入手できる。

関連論文リスト

• OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
  OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。 射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。 代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
  論文  参考訳（メタデータ） (2026-09-08T19:45:58Z)
• DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization [17.91043282211744]
  3D Gaussian Splatting (3DGS)は、リアルタイム高忠実なレンダリングによる日常画像からの効率的な3Dシーン再構築を実現している。 より広い視野(FOV)を持つ魚眼カメラは、少ない入力から高品質な再構築を約束する。
  論文  参考訳（メタデータ） (2026-04-01T09:00:04Z)
• Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses [5.987299558427844]
  Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。 本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-30T18:18:56Z)
• Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens [8.197905977697552]
  魚眼画像に対する基礎的単眼深度推定器(FMDE)の拡張手法を提案する。 本手法は,魚眼画像と視線画像とを符号化した潜伏埋め込みの分布を一致させる。
  論文  参考訳（メタデータ） (2025-08-06T23:23:20Z)
• DoF-Gaussian: Controllable Depth-of-Field for 3D Gaussian Splatting [52.52398576505268]
  3D-GSのための制御可能な深度法であるDoF-Gaussianを導入する。 我々は、DoF効果を制御するための幾何光学原理に基づくレンズベースイメージングモデルを開発した。 私たちのフレームワークはカスタマイズ可能で、様々なインタラクティブアプリケーションをサポートしています。
  論文  参考訳（メタデータ） (2025-03-02T05:57:57Z)
• FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera [8.502741852406904]
  魚眼カメラに適した自己監督深度推定モデルである魚眼深度について述べる。 魚眼カメラモデルを訓練中の投射と再投射の段階に組み込んで画像歪みの処理を行う。 また、連続するフレーム間の幾何学的投影に実際のポーズ情報を組み込んで、従来のポーズネットワークで推定されたポーズを置き換える。
  論文  参考訳（メタデータ） (2024-09-23T14:31:42Z)
• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• FisheyeEX: Polar Outpainting for Extending the FoV of Fisheye Lens [84.12722334460022]
  魚眼レンズは、広視野(FoV)のため、計算写真や運転支援における応用が増大する 本稿では,魚眼レンズのFoVを拡張した魚眼EX法を提案する。 以上の結果から,本手法は従来の魚眼画像よりも27%多く,最先端の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-06-12T21:38:50Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
  カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。 Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。 本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
  論文  参考訳（メタデータ） (2020-08-15T02:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。