論文の概要: Panorama Generation From NFoV Image Done Right

• arxiv url: http://arxiv.org/abs/2503.18420v1
• Date: Mon, 24 Mar 2025 08:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:36:03.764505
• Title: Panorama Generation From NFoV Image Done Right
• Title（参考訳）: NFoV画像からパノラマ生成
• Authors: Dian Zheng, Cheng Zhang, Xiao-Ming Wu, Cao Li, Chengfei Lv, Jian-Fang Hu, Wei-Shi Zheng,
• Abstract要約: 歪み特異的CLIP(Distort-CLIP)を提案し,パノラマ歪みを評価した。 この現象に対処するために,パノラマ生成を歪み誘導とコンテンツ補完に分離する分離拡散モデルフレームワークである textbfPanoDecouple を提案する。
• 参考スコア（独自算出の注目度）: 34.92299037497302
• License:
• Abstract: Generating 360-degree panoramas from narrow field of view (NFoV) image is a promising computer vision task for Virtual Reality (VR) applications. Existing methods mostly assess the generated panoramas with InceptionNet or CLIP based metrics, which tend to perceive the image quality and is \textbf{not suitable for evaluating the distortion}. In this work, we first propose a distortion-specific CLIP, named Distort-CLIP to accurately evaluate the panorama distortion and discover the \textbf{``visual cheating''} phenomenon in previous works (\ie, tending to improve the visual results by sacrificing distortion accuracy). This phenomenon arises because prior methods employ a single network to learn the distinct panorama distortion and content completion at once, which leads the model to prioritize optimizing the latter. To address the phenomenon, we propose \textbf{PanoDecouple}, a decoupled diffusion model framework, which decouples the panorama generation into distortion guidance and content completion, aiming to generate panoramas with both accurate distortion and visual appeal. Specifically, we design a DistortNet for distortion guidance by imposing panorama-specific distortion prior and a modified condition registration mechanism; and a ContentNet for content completion by imposing perspective image information. Additionally, a distortion correction loss function with Distort-CLIP is introduced to constrain the distortion explicitly. The extensive experiments validate that PanoDecouple surpasses existing methods both in distortion and visual metrics.
• Abstract（参考訳）: 狭視野(NFoV)画像から360度パノラマを生成することは、仮想現実(VR)アプリケーションのための有望なコンピュータビジョンタスクである。 InceptionNetやCLIPベースのメトリクスで生成されたパノラマを主に評価する既存のメソッドは、画像の品質を知覚する傾向があり、歪みを評価するのに適していない。 本研究では,まず,パノラマ歪みを正確に評価し,従来の作品における「textbf{``visual cheating''」現象を発見するための歪み特異的CLIP,Distort-CLIPを提案する。 この現象は、事前の手法がパノラマ歪みとコンテンツ完了を同時に学習するために単一のネットワークを使用するため、モデルが後者の最適化を優先するからである。 この現象に対処するために,パノラマ生成を歪み誘導とコンテンツ補完に分離し,正確な歪みと視覚的魅力の両方でパノラマを生成する,分離拡散モデルフレームワークである「textbf{PanoDecouple}」を提案する。 具体的には、パノラマ特有の歪みを事前に付与して歪み誘導のためのDistortNetと、視点画像情報によるコンテンツ補完のためのContentNetを設計する。 さらに、歪みを明示的に制約するために、歪補正損失関数をDistort-CLIPで導入する。 広範な実験により、PanoDecoupleは歪みと視覚的メトリクスの両方で既存のメソッドを上回っていることが検証された。

関連論文リスト

• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• Möbius Transform for Mitigating Perspective Distortions in Representation Learning [43.86985901138407]
  パースペクティブ歪み(PD)は、画像の形状、大きさ、向き、角度、その他の空間的関係に前例のない変化を引き起こす。 M"オビウス変換の特定の族に対して,パラメータ制御を微粒化することにより,MPDを緩和する手法を提案する。 我々は,この新たなデータセットに対して,ディープラーニングモデルの堅牢性を評価するために,視点的に歪んだベンチマークデータセットであるImageNet-PDを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:39:00Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• Generative and Discriminative Learning for Distorted Image Restoration [22.230017059874445]
  Liquifyは、画像の歪みに使用できる画像編集のテクニックである。 本稿では,深層ニューラルネットワークに基づく新しい生成的・識別的学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T14:01:29Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)
• Distortion-aware Monocular Depth Estimation for Omnidirectional Images [26.027353545874522]
  室内パノラマにおけるこの問題に対処するために,DAMO(Distortion-Aware Monocular Omnidirectional)深度推定ネットワークを提案する。 まず、全方位画像からキャリブレーションされた意味的特徴を抽出する歪み認識モジュールを提案する。 第二に、球面から投影される領域の不均一分布を扱うために、目的関数に対するプラグアンドプレイ球面対応重み行列を導入する。
  論文  参考訳（メタデータ） (2020-10-18T08:47:57Z)
• A Deep Ordinal Distortion Estimation Approach for Distortion Rectification [62.72089758481803]
  より高精度なパラメータを効率良く得る新しい歪み補正手法を提案する。 本研究では, 局所言語関連推定ネットワークを設計し, 順序歪みを学習し, 現実的な歪み分布を近似する。 歪み情報の冗長性を考慮すると,本手法では歪み画像の一部のみを用いて順序方向の歪み推定を行う。
  論文  参考訳（メタデータ） (2020-07-21T10:03:42Z)
• UnRectDepthNet: Self-Supervised Monocular Depth Estimation using a Generic Framework for Handling Common Camera Distortion Models [8.484676769284578]
  本研究では,未修正単眼ビデオから深度,ユークリッド距離,および視覚計測を推定するための,汎用的な規模対応型自己教師パイプラインを提案する。 提案アルゴリズムは,KITTI修正データセットでさらに評価され,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-07-13T20:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。