論文の概要: AsyncDSB: Schedule-Asynchronous Diffusion Schrödinger Bridge for Image Inpainting

• arxiv url: http://arxiv.org/abs/2412.08149v1
• Date: Wed, 11 Dec 2024 07:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:26.849338
• Title: AsyncDSB: Schedule-Asynchronous Diffusion Schrödinger Bridge for Image Inpainting
• Title（参考訳）: AsyncDSB: 画像描画のためのスケジュール非同期拡散シュレーディンガーブリッジ
• Authors: Zihao Han, Baoquan Zhang, Lisai Zhang, Shanshan Feng, Kenghong Lin, Guotao Liang, Yunming Ye, Xiaochen Qi, Guangming Ye,
• Abstract要約: 画像インペイントのためのスケジュール非同期拡散Schr"odinger Bridgeを提案する。 AsyncDSBは、特にFIDにおいて、最先端のベースラインメソッドよりも約3%から14%改善した上で、優れたパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 15.216739190569509
• License:
• Abstract: Image inpainting is an important image generation task, which aims to restore corrupted image from partial visible area. Recently, diffusion Schr\"odinger bridge methods effectively tackle this task by modeling the translation between corrupted and target images as a diffusion Schr\"odinger bridge process along a noising schedule path. Although these methods have shown superior performance, in this paper, we find that 1) existing methods suffer from a schedule-restoration mismatching issue, i.e., the theoretical schedule and practical restoration processes usually exist a large discrepancy, which theoretically results in the schedule not fully leveraged for restoring images; and 2) the key reason causing such issue is that the restoration process of all pixels are actually asynchronous but existing methods set a synchronous noise schedule to them, i.e., all pixels shares the same noise schedule. To this end, we propose a schedule-Asynchronous Diffusion Schr\"odinger Bridge (AsyncDSB) for image inpainting. Our insight is preferentially scheduling pixels with high frequency (i.e., large gradients) and then low frequency (i.e., small gradients). Based on this insight, given a corrupted image, we first train a network to predict its gradient map in corrupted area. Then, we regard the predicted image gradient as prior and design a simple yet effective pixel-asynchronous noise schedule strategy to enhance the diffusion Schr\"odinger bridge. Thanks to the asynchronous schedule at pixels, the temporal interdependence of restoration process between pixels can be fully characterized for high-quality image inpainting. Experiments on real-world datasets show that our AsyncDSB achieves superior performance, especially on FID with around 3% - 14% improvement over state-of-the-art baseline methods.
• Abstract（参考訳）: 画像の塗装は画像生成の重要な課題であり、部分的な可視領域から劣化した画像を復元することを目的としている。 近年、拡散Schr\"odinger Bridge法は、劣化した画像とターゲット画像の変換をノイズ発生スケジュール経路に沿って拡散Schr\"odinger Bridge法としてモデル化することにより、この課題に効果的に対処している。 これらの手法は優れた性能を示したが,本論文ではその有用性を見出した。 1) 既存の方法は、スケジュール復元ミスマッチの問題、すなわち、理論上のスケジュールと実用上の復元プロセスは、通常大きな相違点が存在し、理論的には、画像の復元に完全に活用されないスケジュールとなる。 2) すべての画素の復元処理が実際に非同期であるのに対して,既存のメソッドは同期ノイズスケジュールを設定するため,すべてのピクセルが同じノイズスケジュールを共有する。 この目的のために,画像インペイントのためのスケジュール非同期拡散Schr\"odinger Bridge (AsyncDSB)を提案する。 我々の洞察は、優先的に高周波数(大きな勾配)と低周波数(小さな勾配)のピクセルをスケジューリングすることである。 この知見に基づいて、破損した画像からまずネットワークをトレーニングし、劣化した領域の勾配マップを予測する。 そこで, 予測画像勾配を先行とみなし, 拡散Schr\"odinger橋の拡充を目的とした, 単純で効果的な画素非同期ノイズスケジュール戦略を設計する。 画素の非同期スケジュールにより、画素間の復元過程の時間的相互依存性は、高品質な画像のインパインティングに完全に特徴付けられる。 実世界のデータセットの実験では、AsyncDSBは特に、最先端のベースラインメソッドよりも約3%から14%改善したFID上で、優れたパフォーマンスを実現しています。

関連論文リスト

• SpotDiffusion: A Fast Approach For Seamless Panorama Generation Over Time [7.532695984765271]
  生成モデルを用いて高解像度画像を生成する新しい手法を提案する。 提案手法は,時間とともに重なりのないデノベーションウィンドウをシフトさせ,一段階のシームが次回修正されるようにする。 提案手法は計算効率の向上や推論時間の高速化など,いくつかの重要な利点を提供する。
  論文  参考訳（メタデータ） (2024-07-22T09:44:35Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• Continuous-Multiple Image Outpainting in One-Step via Positional Query and A Diffusion-based Approach [104.2588068730834]
  本稿では, 文献で未解決の2つの方向において, 画像出力の技術的フロンティアを推し進める。 トレーニング済みのバックボーンネットワークに依存しない手法を開発した。 提案手法(PQDiff)を公開ベンチマークで評価し,最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-28T13:00:38Z)
• Cache Me if You Can: Accelerating Diffusion Models through Block Caching [67.54820800003375]
  画像間の大規模なネットワークは、ランダムノイズから画像を反復的に洗練するために、何度も適用されなければならない。 ネットワーク内のレイヤの振る舞いを調査し,1) レイヤの出力が経時的にスムーズに変化すること,2) レイヤが異なる変更パターンを示すこと,3) ステップからステップへの変更が非常に小さいこと,などが分かる。 本稿では,各ブロックの時間経過変化に基づいて,キャッシュスケジュールを自動的に決定する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:51:38Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying [52.91778151771145]
  本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。 実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T11:13:51Z)
• EC-SfM: Efficient Covisibility-based Structure-from-Motion for Both Sequential and Unordered Images [24.6736600856999]
  本稿では、非順序のインターネット画像に対する効率的なコビジュアビリティに基づくインクリメンタルSfMを提案する。 逐次的画像、非順序画像、これら2つの混合画像を効率的に再構成するための統一的な枠組みを提案する。 提案手法は特徴マッチングの最先端技術よりも3倍高速であり,精度を犠牲にすることなく再現の精度は桁違いに向上する。
  論文  参考訳（メタデータ） (2023-02-21T09:18:57Z)
• ParaColorizer: Realistic Image Colorization using Parallel Generative Networks [1.7778609937758327]
  グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。 並列なGANベースのカラー化フレームワークを提案する。 マルチモーダル問題を評価するために一般的に使用される非知覚的評価指標の欠点を示す。
  論文  参考訳（メタデータ） (2022-08-17T13:49:44Z)
• A Differentiable Two-stage Alignment Scheme for Burst Image Reconstruction with Large Shift [13.454711511086261]
  バースト画像、すなわちJDD-Bのための共同デノジングとデモサック(JDD)が注目されている。 JDD-Bの重要な課題は、画像フレームのロバストなアライメントにある。 本稿では, JDD-B を効果的に活用するための2段階アライメント方式を提案する。
  論文  参考訳（メタデータ） (2022-03-17T12:55:45Z)
• Exploiting Non-Local Priors via Self-Convolution For Highly-Efficient Image Restoration [36.22821902478044]
  画像の非局所的類似性を自己管理的に活用する新たな自己畳み込み演算子を提案する。 提案したSelf-Convolutionは、一般的に使われているブロックマッチングステップを一般化し、より安価な計算で等価な結果を生成することができる。 実験により、自己畳み込みは、人気のある非局所画像復元アルゴリズムの大部分を著しく高速化できることが示された。
  論文  参考訳（メタデータ） (2020-06-24T13:24:37Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。