論文の概要: FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
- arxiv url: http://arxiv.org/abs/2604.10391v1
- Date: Sun, 12 Apr 2026 00:46:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.98891
- Title: FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
- Title（参考訳）: FishRoPE:全方向視覚知覚のためのプロジェクティブロータリー位置埋め込み
- Authors: Rahul Ahuja, Mudit Jain, Bala Murali Manoghar Sai Sudhakar, Venkatraman Narayanan, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani,
- Abstract要約: 視覚基礎モデル(VFM)とバードアイビュー(BEV)の表現は、ピンホールカメラの直線幾何学を前提としている。
私たちのフレームワークは、凍結したVFMを2つのコンポーネントを通して魚眼幾何学に適応する軽量なフレームワークです。
- 参考スコア（独自算出の注目度）: 6.114308991453516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision foundation models (VFMs) and Bird's Eye View (BEV) representation have advanced visual perception substantially, yet their internal spatial representations assume the rectilinear geometry of pinhole cameras. Fisheye cameras, widely deployed on production autonomous vehicles for their surround-view coverage, exhibit severe radial distortion that renders these representations geometrically inconsistent. At the same time, the scarcity of large-scale fisheye annotations makes retraining foundation models from scratch impractical. We present \ours, a lightweight framework that adapts frozen VFMs to fisheye geometry through two components: a frozen DINOv2 backbone with Low-Rank Adaptation (LoRA) that transfers rich self-supervised features to fisheye without task-specific pretraining, and Fisheye Rotary Position Embedding (FishRoPE), which reparameterizes the attention mechanism in the spherical coordinates of the fisheye projection so that both self-attention and cross-attention operate on angular separation rather than pixel distance. FishRoPE is architecture-agnostic, introduces negligible computational overhead, and naturally reduces to the standard formulation under pinhole geometry. We evaluate \ours on WoodScape 2D detection (54.3 mAP) and SynWoodScapes BEV segmentation (65.1 mIoU), where it achieves state-of-the-art results on both benchmarks.
- Abstract（参考訳）: 視覚基礎モデル (VFM) とバードアイビュー (BEV) の表現は視覚的に大きく進歩しているが、内部空間の表現はピンホールカメラの直線幾何学を前提としている。
魚眼カメラは、サラウンドビューのカバーのために生産用自動運転車に広く配備されており、これらの表現を幾何学的に矛盾させる厳しい半径歪みを示す。
同時に、大規模な魚眼アノテーションの不足は、スクラッチから基礎モデルの再訓練を非現実的にする。
凍結VFMを魚眼幾何学に適応させる軽量なフレームワークである \ours について述べる: 凍結DINOv2 バックボーンとローランド適応 (LoRA) は、タスク固有の事前訓練なしでリッチな自己監督的特徴を魚眼に伝達し、魚眼回転位置埋め込み (FishRoPE) は、魚眼投射の球面座標における注意機構を再パラメータ化して、自己注意と交差注意の両方が画素距離ではなく角分離で動作する。
FishRoPEはアーキテクチャに依存しず、無視可能な計算オーバーヘッドを導入し、ピンホール幾何学の下での標準定式化に自然に還元する。
我々は,WoodScape 2D検出(54.3mAP)とSynWoodScapes BEVセグメンテーション(65.1mIoU)の評価を行った。
関連論文リスト
- Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses [5.987299558427844]
Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。
本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
論文 参考訳（メタデータ） (2026-03-30T18:18:56Z) - Benchmarking Multi-View BEV Object Detection with Mixed Pinhole and Fisheye Cameras [5.227238848375275]
我々は、KITTI-360をnuScenesフォーマットに変換することで、混合カメラを用いたマルチビューBEV検出ベンチマークを導入する。
本研究は,ゼロショット評価のための修正とnuScenes訓練モデルの微調整の3つの適応を含む。
プロジェクションフリーアーキテクチャは本質的に他のVTMよりも頑丈で,魚眼の歪みに対して有効であることを示す。
論文 参考訳（メタデータ） (2026-03-29T19:10:34Z) - Exploring Surround-View Fisheye Camera 3D Object Detection [44.09164098759971]
本研究では,サラウンドビュー魚眼カメラシステムによるエンドツーエンド3Dオブジェクト検出の実現の可能性について検討する。
魚眼画像のユニークな形状を主流検出フレームワークに組み込む2つの手法を開発した。
魚眼3DOD実験の結果,我々の魚眼互換モデルでは,基準法よりも最大6.2%精度が向上していることがわかった。
論文 参考訳（メタデータ） (2025-11-24T02:28:56Z) - PFDepth: Heterogeneous Pinhole-Fisheye Joint Depth Estimation via Distortion-aware Gaussian-Splatted Volumetric Fusion [61.6340987158734]
ヘテロジニアス多視点深度推定のための最初のピンホール・フィッシュアイ・フレームワークPFDepthを提案する。
PFDepthは、ピンホールと魚眼カメラの任意の組み合わせを、様々な内在と外生とで処理できる統一アーキテクチャを採用している。
我々は,現在の主流深度ネットワーク上でのKITTI-360およびRealHetデータセットに対して,PFDepthが最先端の性能を示すことを示す。
論文 参考訳（メタデータ） (2025-09-30T09:38:59Z) - FishBEV: Distortion-Resilient Bird's Eye View Segmentation with Surround-View Fisheye Cameras [12.001699443894504]
魚眼カメラに特化した新しいBEVセグメンテーションフレームワークであるFishBEVを提案する。
このフレームワークには3つの補完的なイノベーションが導入されている。これには、スケールの一貫性を維持しながら、歪みの下で堅牢な特徴を学習するdistortion-Resilient Multi-scale extract (DRME)バックボーンが含まれる。
Synwoodscapesデータセットの実験により、魚眼BEVセグメンテーションタスクにおける魚眼BEVの性能評価について、魚眼BEVは一貫してSOTAベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2025-09-17T04:26:36Z) - FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [100.45129752375658]
FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。
本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
論文 参考訳（メタデータ） (2025-02-17T18:54:05Z) - RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。
DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。
事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。
微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
論文 参考訳（メタデータ） (2024-06-27T06:38:56Z) - FisheyeEX: Polar Outpainting for Extending the FoV of Fisheye Lens [84.12722334460022]
魚眼レンズは、広視野(FoV)のため、計算写真や運転支援における応用が増大する
本稿では,魚眼レンズのFoVを拡張した魚眼EX法を提案する。
以上の結果から,本手法は従来の魚眼画像よりも27%多く,最先端の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-06-12T21:38:50Z) - Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。
Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。
本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
論文 参考訳（メタデータ） (2020-08-15T02:29:13Z) - SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation
Network to Monocular Fisheye Images [15.573003283204958]
本稿では、ROIに基づく6Dオブジェクトのポーズ推定手法を魚眼画像に適用するための新しいフレームワークを提案する。
また、6Dオブジェクトポーズと2Dバウンディングボックスアノテーションを備えたUWHandlesと呼ばれる魚眼画像データセットも提供しています。
論文 参考訳（メタデータ） (2020-02-27T19:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。