論文の概要: OmniSSR: Zero-shot Omnidirectional Image Super-Resolution using Stable Diffusion Model
- arxiv url: http://arxiv.org/abs/2404.10312v1
- Date: Tue, 16 Apr 2024 06:39:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 17:52:48.259250
- Title: OmniSSR: Zero-shot Omnidirectional Image Super-Resolution using Stable Diffusion Model
- Title（参考訳）: OmniSSR:安定拡散モデルを用いたゼロショット全方位画像超解像
- Authors: Runyi Li, Xuhan Sheng, Weiqi Li, Jian Zhang,
- Abstract要約: ODI(Omnidirectional Image)は、現実世界の視覚タスクで一般的に使われ、高解像度のODIは関連する視覚タスクのパフォーマンス向上に役立つ。
ODIの既存の超解像法のほとんどはエンドツーエンドの学習戦略を用いており、結果として生成された画像の劣る現実性をもたらす。
- 参考スコア（独自算出の注目度）: 6.83367289911244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omnidirectional images (ODIs) are commonly used in real-world visual tasks, and high-resolution ODIs help improve the performance of related visual tasks. Most existing super-resolution methods for ODIs use end-to-end learning strategies, resulting in inferior realness of generated images and a lack of effective out-of-domain generalization capabilities in training methods. Image generation methods represented by diffusion model provide strong priors for visual tasks and have been proven to be effectively applied to image restoration tasks. Leveraging the image priors of the Stable Diffusion (SD) model, we achieve omnidirectional image super-resolution with both fidelity and realness, dubbed as OmniSSR. Firstly, we transform the equirectangular projection (ERP) images into tangent projection (TP) images, whose distribution approximates the planar image domain. Then, we use SD to iteratively sample initial high-resolution results. At each denoising iteration, we further correct and update the initial results using the proposed Octadecaplex Tangent Information Interaction (OTII) and Gradient Decomposition (GD) technique to ensure better consistency. Finally, the TP images are transformed back to obtain the final high-resolution results. Our method is zero-shot, requiring no training or fine-tuning. Experiments of our method on two benchmark datasets demonstrate the effectiveness of our proposed method.
- Abstract（参考訳）: ODI(Omnidirectional Image)は、現実世界の視覚タスクで一般的に使われ、高解像度のODIは関連する視覚タスクのパフォーマンス向上に役立つ。
ODIの既存の超解像法の多くはエンドツーエンドの学習戦略を用いており、結果として生成された画像の劣る現実性と、訓練方法における効果的な領域外一般化能力が欠如している。
拡散モデルで表現された画像生成手法は,視覚的タスクに強い先行性を与え,画像復元タスクに効果的に適用できることが証明されている。
安定拡散(SD)モデルの先行画像を活用することで,OmniSSRと呼ばれる全方位画像の高解像度化を実現した。
まず,等角射影(ERP)画像を接射影(TP)画像に変換し,その分布は平面画像領域に近似する。
次に、SDを用いて初期高分解能な結果を反復的にサンプリングする。
提案手法であるOctadecaplex Tangent Information Interaction (OTII) と Gradient Decomposition (GD) を用いて, より整合性を確保する。
最後に、TP画像を変換して最終高分解能結果を得る。
私たちの方法はゼロショットで、トレーニングや微調整は必要ありません。
提案手法の有効性を2つのベンチマークデータセットで検証した。
関連論文リスト
- One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。
近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。
我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文 参考訳（メタデータ） (2024-08-14T11:47:22Z) - Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems [15.298502168256519]
拡散モデルは、基礎となるデータ分布から強力な画像前処理を学習し、それを使って逆問題を解決することができるが、トレーニングプロセスは計算コストが高く、大量のデータを必要とする。
本稿では,画像のパッチのみに基づく拡散モデルのトレーニングにより,画像全体に対する効率的なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:30:37Z) - Perception-Distortion Balanced ADMM Optimization for Single-Image
Super-Resolution [29.19388490351459]
低周波制約(LFc-SR)を持つ新しい超解像モデルを提案する。
制約付きモデルの非自明な学習のためのADMMに基づく交互最適化手法を提案する。
実験の結果,提案手法は加工後処理の煩雑さを伴わず,最先端の性能を達成できた。
論文 参考訳（メタデータ） (2022-08-05T05:37:55Z) - Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。
深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。
本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
論文 参考訳（メタデータ） (2022-06-06T13:28:15Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳（メタデータ） (2021-11-27T12:12:57Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-08T16:44:31Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳（メタデータ） (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。