論文の概要: MIVIFI: Bridging Perspective and Fisheye Domains for Training Multi-View Fisheye Image Generation Models

• arxiv url: http://arxiv.org/abs/2608.23140v1
• Date: Mon, 24 Aug 2026 11:46:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.037482
• Title: MIVIFI: Bridging Perspective and Fisheye Domains for Training Multi-View Fisheye Image Generation Models
• Title（参考訳）: MIVIFI:多視点魚眼画像生成モデルの訓練のためのブリッジング・パースペクティブと魚眼領域
• Abstract要約: 魚眼カメラは、2つのセンサーで完全なサラウンドカバーを可能にすることで、コスト効率のよいソリューションを提供する。 既存のマルチビュー魚眼データセットは限られており、稀なコーナーケースでは計算に高価な3Dシミュレーションが必要となる。 本稿では,容積意味表現に基づく多視点魚眼画像を生成する2つの方法を提案する。
• 参考スコア（独自算出の注目度）: 44.93230202195852
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Achieving 360° coverage is critical for the visual perception systems of autonomous vehicles. Fisheye cameras offer a cost-effective solution by enabling full surround coverage with as few as two sensors. However, existing multi-view fisheye datasets are limited, and synthesizing rare corner cases typically requires computationally expensive 3D simulations, hindering the training. While generative models have achieved significant success in standard perspective imagery, their application to wide-angle distortion remains unexplored. In this work, we formally introduce the novel problem of multi-view fisheye image generation conditioned on volumetric semantic representations and present two distinct methods. We first propose SyntheOcc-FE, which adapts the SyntheOcc architecture to fisheye data. While effective, this method is constrained by the scarcity of fisheye datasets, which limits its generalization. To overcome these limitations, we propose our second method, MIVIFI (multi-view fisheye), which leverages cross-domain learning with Equirectangular Projections. By bridging the gap between dataset domains using KITTI-360 fisheye images alongside nuScenes multi-view standard images, our approach enables high-fidelity manipulation of scene content. This framework enables the structural modification of semantic occupancy inputs to introduce or eliminate specific actors and facilitates the rendering of diverse meteorological conditions and illumination scenarios absent in the limited fisheye datasets. Quantitative and qualitative experiments demonstrate that our methods achieve robust photorealistic multi-view fisheye image generation and highlight the specific advantages of our cross-domain strategy for handling data scarcity.
• Abstract（参考訳）: 360度到達は、自動運転車の視覚知覚システムにとって重要である。 魚眼カメラは、2つのセンサーで完全なサラウンドカバーを可能にすることで、コスト効率のよいソリューションを提供する。 しかし、既存の多視点魚眼データセットは限られており、稀なコーナーケースの合成には、通常、計算に高価な3Dシミュレーションが必要であり、訓練を妨げている。 生成モデルは標準的な視点像において大きな成功を収めてきたが、広角歪みへの応用はいまだ未解明のままである。 本研究では,容積意味表現に基づく多視点魚眼画像生成の新たな問題と,2つの異なる方法を提案する。 まず,魚眼データにSyntheOccアーキテクチャを適用するSyntheOcc-FEを提案する。 有効ではあるが、この方法は魚眼データセットの不足によって制約され、その一般化は制限される。 これらの制限を克服するために, 等角射影を用いたクロスドメイン学習を利用したMIVIFI (multi-view fisheye) を提案する。 KITTI-360魚眼画像とnuScenesマルチビュー標準画像とのギャップを埋めることで,シーンコンテンツの高忠実な操作を可能にする。 この枠組みは、特定のアクターを導入または排除するためのセマンティック占有入力の構造的な変更を可能にし、限られた魚眼データセットに存在しない多様な気象条件や照明シナリオのレンダリングを容易にする。 定量的および定性的な実験により,本手法が頑健なフォトリアリスティックな多視点魚眼画像生成を実現し,データ不足に対処するためのドメイン横断戦略の特長を強調した。

関連論文リスト

• From Perspective to Fisheye Depth Estimation and Open-Vocabulary Segmentation [6.335915125785494]
  魚眼カメラの視覚基礎モデルを一般化する手法を提案する。 我々の手法の要点は、DEX(Distortion Extender)と呼ばれる学習可能なパラメータのセットにある。 DEXは魚眼画像の潜伏埋め込みを視点画像に似せて高忠実度推定を復元する。
  論文  参考訳（メタデータ） (2026-08-28T03:10:18Z)
• DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization [17.91043282211744]
  3D Gaussian Splatting (3DGS)は、リアルタイム高忠実なレンダリングによる日常画像からの効率的な3Dシーン再構築を実現している。 より広い視野(FOV)を持つ魚眼カメラは、少ない入力から高品質な再構築を約束する。
  論文  参考訳（メタデータ） (2026-04-01T09:00:04Z)
• Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses [5.987299558427844]
  Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。 本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-30T18:18:56Z)
• Aerial Lifting: Neural Urban Semantic and Building Instance Lifting from Aerial Imagery [51.73680703579997]
  航空画像から都市規模のセマンティックスとビルレベルのインスタンスセグメンテーションのためのニューラルラジアンスフィールド法を提案する。 都市空撮画像の物体は、建物、車、道路など、相当な大きさのバリエーションを示している。 我々は,様々な大きさのオブジェクトのセグメンテーションを強化する,スケール適応型セマンティックラベル融合戦略を導入する。 次に、2次元のインスタンスラベルにおける多視点不整合問題を緩和するために、新しいクロスビューインスタンスラベルグループ化戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-18T14:15:39Z)
• Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
  マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。 本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。 特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning [105.01294305972037]
  自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。 まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
  論文  参考訳（メタデータ） (2023-08-17T15:20:17Z)
• FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation [33.71849096992972]
  本稿では,魚眼画像の密接なテクスチャ,構造,意味を,センサ・フィールド・オブ・ビュー(FoV)を超えても推測する,魚眼セマンティック・コンプリート(FSC)の新たな課題を提起する。 そこで本研究では,Pola-Aware Cross Attention Module (PCA) によって拡張されたViTsを利用して,密集したコンテキストを活用し,意味的に一貫性のあるコンテンツ生成をガイドする新しいFishDreamerを提案する。
  論文  参考訳（メタデータ） (2023-03-24T07:34:25Z)
• Gait Recognition in Large-scale Free Environment via Single LiDAR [35.684257181154905]
  深度を捉えるLiDARの能力は、ロボットの知覚にとって重要な要素であり、現実世界の歩行認識の可能性を秘めている。 本稿では,頑健な歩行認識のための階層型多表現特徴相互作用ネットワーク(HMRNet)を提案する。 LiDARに基づく歩行認識研究を容易にするため,大規模かつ制約のない歩行データセットであるFreeGaitを紹介した。
  論文  参考訳（メタデータ） (2022-11-22T16:05:58Z)
• MC-Blur: A Comprehensive Benchmark for Image Deblurring [127.6301230023318]
  ほとんどの実世界の画像では、ブラーは動きやデフォーカスなど様々な要因によって引き起こされる。 我々は,MC-Blurと呼ばれる大規模マルチライク画像デブロアリングデータセットを新たに構築する。 MC-Blurデータセットに基づいて,異なるシナリオにおけるSOTA法の比較を行う。
  論文  参考訳（メタデータ） (2021-12-01T02:10:42Z)
• Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
  自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。 自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
  論文  参考訳（メタデータ） (2021-05-05T17:49:55Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)
• SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation Network to Monocular Fisheye Images [15.573003283204958]
  本稿では、ROIに基づく6Dオブジェクトのポーズ推定手法を魚眼画像に適用するための新しいフレームワークを提案する。 また、6Dオブジェクトポーズと2Dバウンディングボックスアノテーションを備えたUWHandlesと呼ばれる魚眼画像データセットも提供しています。
  論文  参考訳（メタデータ） (2020-02-27T19:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。