論文の概要: Diffeomorphic Template Registration for Atmospheric Turbulence Mitigation
- arxiv url: http://arxiv.org/abs/2405.03662v2
- Date: Mon, 24 Jun 2024 05:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 00:53:00.496505
- Title: Diffeomorphic Template Registration for Atmospheric Turbulence Mitigation
- Title(参考訳): 大気乱流緩和のための拡散型テンプレートレジストレーション
- Authors: Dong Lao, Congli Wang, Alex Wong, Stefano Soatto,
- Abstract要約: 大気の乱流により劣化した画像の集合体に基づく放射能の回復法について述べる。
画像の1つを参照として選択し、その画像から他の画像への光フローの集約により、この画像の変形をモデル化する。
単純さに拘わらず、最先端のパフォーマンスを実現しています。
- 参考スコア(独自算出の注目度): 50.16004183320537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe a method for recovering the irradiance underlying a collection of images corrupted by atmospheric turbulence. Since supervised data is often technically impossible to obtain, assumptions and biases have to be imposed to solve this inverse problem, and we choose to model them explicitly. Rather than initializing a latent irradiance ("template") by heuristics to estimate deformation, we select one of the images as a reference, and model the deformation in this image by the aggregation of the optical flow from it to other images, exploiting a prior imposed by Central Limit Theorem. Then with a novel flow inversion module, the model registers each image TO the template but WITHOUT the template, avoiding artifacts related to poor template initialization. To illustrate the robustness of the method, we simply (i) select the first frame as the reference and (ii) use the simplest optical flow to estimate the warpings, yet the improvement in registration is decisive in the final reconstruction, as we achieve state-of-the-art performance despite its simplicity. The method establishes a strong baseline that can be further improved by integrating it seamlessly into more sophisticated pipelines, or with domain-specific methods if so desired.
- Abstract(参考訳): 本研究では, 大気乱流により劣化した画像の集合体に基づく放射能の回復手法について述べる。
教師付きデータは技術的には入手できないことが多いため、この逆問題を解決するためには仮定とバイアスを課し、それらを明示的にモデル化する。
変形を推定するためにヒューリスティックスによって潜時光を初期化する代わりに、画像の1つを基準として選択し、この画像の変形を、その画像から他の画像への光フローの集約によってモデル化し、中央極限定理によって課された先行値を利用する。
そして、新しいフロー反転モジュールで、モデルはテンプレートに対して各イメージを登録するが、テンプレートを外し、テンプレートの初期化の悪いアーティファクトを避ける。
この手法の堅牢性を説明するために、我々は単純に
(i)参照として第1フレームを選択して
二 最も簡単な光学的流れを用いてワーピングを推定するが、その単純さに拘わらず、最先端の性能を達成するため、最終的な復元において登録の改善は決定的である。
このメソッドは、より洗練されたパイプラインやドメイン固有のメソッドにシームレスに統合することで、さらに改善できる強力なベースラインを確立する。
関連論文リスト
- Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。
本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
論文 参考訳(メタデータ) (2024-11-17T17:45:37Z) - Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-24T14:52:38Z) - Model Collapse in the Self-Consuming Chain of Diffusion Finetuning: A Novel Perspective from Quantitative Trait Modeling [10.159932782892865]
生成モデルは、出力が実際のデータと区別できないユニークなしきい値に達した。
トレーニングと生成の繰り返しループが発生すると、パフォーマンスの深刻な劣化が観察されている。
本稿では,遺伝子変異に触発された簡便かつ効果的な方法として,再利用可能な拡散微細構造(ReDiFine)を提案する。
論文 参考訳(メタデータ) (2024-07-04T13:41:54Z) - Bayesian Conditioned Diffusion Models for Inverse Problems [11.67269909384503]
拡散モデルは、前方測定演算子に基づく逆問題を含む多くの画像再構成タスクにおいて優れている。
本稿では,所望の画像の条件分布に関連付けられたスコア関数に基づく拡散モデルBCDMのための新しいベイズ条件付け手法を提案する。
提案手法を用いて,画像処理,デブロアリング,超高解像度化,及びインペイントにおける最先端性能を示す。
論文 参考訳(メタデータ) (2024-06-14T07:13:03Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。
我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。
そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:22:24Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。