論文の概要: CODE: Confident Ordinary Differential Editing

• arxiv url: http://arxiv.org/abs/2408.12418v1
• Date: Thu, 22 Aug 2024 14:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:43:10.588190
• Title: CODE: Confident Ordinary Differential Editing
• Title（参考訳）: CODE: 信頼性のある通常の差分編集
• Authors: Bastien van Delft, Tommaso Martorella, Alexandre Alahi,
• Abstract要約: CODE(Confident Ordinary Differential Editing)は、OoD(Out-of-Distribution)ガイダンスイメージを効果的に処理する画像合成のための新しいアプローチである。 CODEは、確率フロー正規微分方程式(ODE)軌道に沿ったスコアベースの更新によって画像を強化する。 本手法は完全に盲目的に動作し,事前学習した生成モデルにのみ依存する。
• 参考スコア（独自算出の注目度）: 62.83365660727034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.
• Abstract（参考訳）: コンディショニング画像生成は、シームレスな編集とフォトリアリスティック画像の作成を容易にする。 しかし、ノイズやアウト・オブ・ディストリビューション(OoD)画像の条件付けは、特に出力の入力とリアリズムに忠実さをバランスさせることにおいて大きな課題を生じさせる。 我々は,OoD誘導画像を効果的に処理する画像合成のための新しいアプローチであるCODE(Confident Ordinary Differential Editing)を紹介する。 拡散モデルを用いて、CODEは、確率フロー正規微分方程式(ODE)軌道に沿ったスコアベースの更新により、画像を強化する。 この方法は、タスク固有のトレーニング、手作りのモジュール、条件付け画像に影響を及ぼす腐敗に関する仮定を必要としない。 我々の方法はどんな拡散モデルとも相容れない。 条件付き画像生成とブラインド画像復元の交差点に位置するCODEは、事前訓練された生成モデルのみに依存して、完全に盲目的に動作する。 提案手法では,不確実性を維持しつつ,入力画像の可能性を高めることを目的としている。 これにより、入力周辺の最も確率の高い分布内画像が得られる。 私たちの貢献は2倍です。 まず、CODEをベースとした新しい編集手法を導入し、SDEベースのものと比べ、制御性、リアリズム、忠実性を高めた。 第2に、信頼区間に基づくクリッピング方式を導入し、特定の画素や情報を無視することでCODEの有効性を向上し、視覚的に復元プロセスを向上する。 実験結果からCODEが既存の手法,特に重度劣化やOoD入力を含むシナリオにおいて有効であることが示されている。

関連論文リスト

• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
  潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。 提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
  論文  参考訳（メタデータ） (2023-11-30T15:06:10Z)
• Unified Concept Editing in Diffusion Models [53.30378722979958]
  一つのアプローチで全ての問題に取り組む方法を提案する。 本手法,Unified Concept Editing (UCE) は,クローズドフォーム・ソリューションを用いて学習せずにモデルを編集する。 テキスト・ツー・イメージ・プロジェクションを編集することで、拡張性のある同時デバイアス、スタイル消去、コンテンツモデレーションを実証する。
  論文  参考訳（メタデータ） (2023-08-25T17:59:59Z)
• Eliminating Contextual Prior Bias for Semantic Image Editing via Dual-Cycle Diffusion [35.95513392917737]
  Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。 提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
  論文  参考訳（メタデータ） (2023-02-05T14:30:22Z)
• Image Restoration with Mean-Reverting Stochastic Differential Equations [9.245782611878752]
  本稿では,汎用画像復元のための微分方程式(SDE)を提案する。 対応する逆時間SDEをシミュレートすることにより、低画質画像の起源を復元することができる。 実験の結果,提案手法は画像の劣化, 劣化, 騒音の定量的比較において, 高い競争性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-01-27T13:20:48Z)
• SDEdit: Image Synthesis and Editing with Stochastic Differential Equations [113.35735935347465]
  微分方程式を用いた最近の生成モデルに基づく微分編集(SDEdit)を導入する。 ユーザが編集した入力画像が与えられたら、まずSDEに従って入力にノイズを付加し、その後、逆SDEをシミュレートして、その確率を前より徐々に増加させます。 GANインバージョンに基づく最近の画像編集手法において重要な要素であるタスク固有損失関数の設計は不要である。
  論文  参考訳（メタデータ） (2021-08-02T17:59:47Z)
• High Resolution Face Editing with Masked GAN Latent Code Optimization [0.0]
  顔の編集はコンピュータビジョンコミュニティで人気のある研究トピックである。 最近の提案手法は、条件付きエンコーダデコーダであるGAN(Generative Adversarial Network)をエンドツーエンドでトレーニングするか、事前に訓練されたバニラGANジェネレータモデルの潜時空間での動作を定義するかのいずれかである。 空間的および意味的制約を伴ったGAN組み込み最適化手順を提案する。
  論文  参考訳（メタデータ） (2021-03-20T08:39:41Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。