論文の概要: Dual Diffusion Architecture for Fisheye Image Rectification: Synthetic-to-Real Generalization

• arxiv url: http://arxiv.org/abs/2301.11785v1
• Date: Thu, 26 Jan 2023 09:37:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 15:10:05.188004
• Title: Dual Diffusion Architecture for Fisheye Image Rectification: Synthetic-to-Real Generalization
• Title（参考訳）: 魚眼画像整流のための二重拡散アーキテクチャ--合成から現実への一般化
• Authors: Shangrong Yang, Chunyu Lin, Kang Liao, Yao Zhao
• Abstract要約: 魚眼矯正のためのDDA(Dual Diffusion Architecture)を提案する。 提案したDDAは、合成魚眼画像とラベルなし実魚眼画像とを同時に訓練する。 教師なしのワンパスネットワークを提供し、ガイダンスを強化するための、もっともらしい新しい条件を生成する。
• 参考スコア（独自算出の注目度）: 44.332845280150785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fisheye image rectification has a long-term unresolved issue with synthetic-to-real generalization. In most previous works, the model trained on the synthetic images obtains unsatisfactory performance on the real-world fisheye image. To this end, we propose a Dual Diffusion Architecture (DDA) for the fisheye rectification with a better generalization ability. The proposed DDA is simultaneously trained with paired synthetic fisheye images and unlabeled real fisheye images. By gradually introducing noises, the synthetic and real fisheye images can eventually develop into a consistent noise distribution, improving the generalization and achieving unlabeled real fisheye correction. The original image serves as the prior guidance in existing DDPMs (Denoising Diffusion Probabilistic Models). However, the non-negligible indeterminate relationship between the prior condition and the target affects the generation performance. Especially in the rectification task, the radial distortion can cause significant artifacts. Therefore, we provide an unsupervised one-pass network that produces a plausible new condition to strengthen guidance. This network can be regarded as an alternate scheme for fast producing reliable results without iterative inference. Compared with the state-of-the-art methods, our approach can reach superior performance in both synthetic and real fisheye image corrections.
• Abstract（参考訳）: 魚眼画像の補正は、合成から現実への一般化の長期的な未解決問題である。 これまでのほとんどの作品において、合成画像で訓練されたモデルは、実世界の魚眼画像において不十分な性能を得る。 そこで本研究では,魚眼整定のための2重拡散アーキテクチャ (dda) を提案する。 提案するddaは合成魚眼画像とラベルなしの本物の魚眼画像を同時に訓練する。 ノイズを徐々に導入することにより、合成および実魚眼画像は最終的には一貫したノイズ分布へと発展し、一般化を改善し、ラベルのない実魚眼補正を実現する。 オリジナルの画像は既存のDDPM(Denoising Diffusion Probabilistic Models)の事前ガイダンスとして機能している。 しかし、事前条件と目標との非無視不確定関係は、生成性能に影響を与える。 特に整流作業では、放射状の歪みが重要なアーティファクトを引き起こす可能性がある。 そのため、教師なしのワンパスネットワークを提供し、ガイダンスを強化するための妥当な新しい条件を生成する。 このネットワークは、反復推論なしで信頼性の高い結果を高速に生成するための代替スキームとみなすことができる。 現状の手法と比較して,本手法は合成魚眼画像補正と実魚眼画像修正の両方において優れた性能が得られる。

関連論文リスト

• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning [105.01294305972037]
  自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。 まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
  論文  参考訳（メタデータ） (2023-08-17T15:20:17Z)
• Sector Patch Embedding: An Embedding Module Conforming to The Distortion Pattern of Fisheye Image [23.73394258521532]
  本稿では,魚眼画像の歪みパターンに応じて,セクタパッチ埋め込み(SPE)と呼ばれる新しいパッチ埋め込み手法を提案する。 ViTとPVTの分類トップ1の精度は、それぞれ0.75%、SPEは2.8%向上した。 本手法は他のTransformerベースのモデルにも容易に適用できる。
  論文  参考訳（メタデータ） (2023-03-26T07:20:02Z)
• Wavelength-based Attributed Deep Neural Network for Underwater Image Restoration [9.378355457555319]
  本稿では,色チャネルの移動範囲に基づいて,適切な受容場サイズ(コンテキスト)を付与することで,大幅な性能向上が期待できることを示す。 第2の新規性として、学習したマルチコンテキスト特徴を適応的に洗練するための注意的スキップ機構を組み込んだ。 提案するフレームワークはDeep WaveNetと呼ばれ、従来のピクセル単位で機能ベースのコスト関数を使って最適化されている。
  論文  参考訳（メタデータ） (2021-06-15T06:47:51Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。