論文の概要: Correcting Diffusion Generation through Resampling

• arxiv url: http://arxiv.org/abs/2312.06038v2
• Date: Mon, 07 Oct 2024 03:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:41:33.364588
• Title: Correcting Diffusion Generation through Resampling
• Title（参考訳）: 再サンプリングによる拡散生成の補正
• Authors: Yujian Liu, Yang Zhang, Tommi Jaakkola, Shiyu Chang,
• Abstract要約: 本研究では, 生成画像と接地画像の分布差を低減できる粒子フィルタリングフレームワークを提案する。 提案手法は, 画像生成タスクにおいて, 欠落したオブジェクトの誤りを効果的に補正し, 画質を向上させる。
• 参考スコア（独自算出の注目度）: 32.93858075964824
• License:
• Abstract: Despite diffusion models' superior capabilities in modeling complex distributions, there are still non-trivial distributional discrepancies between generated and ground-truth images, which has resulted in several notable problems in image generation, including missing object errors in text-to-image generation and low image quality. Existing methods that attempt to address these problems mostly do not tend to address the fundamental cause behind these problems, which is the distributional discrepancies, and hence achieve sub-optimal results. In this paper, we propose a particle filtering framework that can effectively address both problems by explicitly reducing the distributional discrepancies. Specifically, our method relies on a set of external guidance, including a small set of real images and a pre-trained object detector, to gauge the distribution gap, and then design the resampling weight accordingly to correct the gap. Experiments show that our methods can effectively correct missing object errors and improve image quality in various image generation tasks. Notably, our method outperforms the existing strongest baseline by 5% in object occurrence and 1.0 in FID on MS-COCO. Our code is publicly available at https://github.com/UCSB-NLP-Chang/diffusion_resampling.git.
• Abstract（参考訳）: 拡散モデルが複雑な分布をモデル化する能力は優れているが、生成した画像と接地した画像の間には相反する非自明な分布が存在するため、テキスト・ツー・イメージ生成におけるオブジェクトエラーの欠如や画像品質の低下など、画像生成においていくつかの顕著な問題が発生している。 これらの問題に対処しようとする既存の手法は、主にこれらの問題の背後にある根本的な原因に対処しない傾向にあり、これは分布の相違であり、したがって準最適結果が得られる。 本稿では,分散の相違を明示的に低減し,両問題を効果的に解決できる粒子フィルタリングフレームワークを提案する。 具体的には,実画像と事前学習対象物検出装置の集合を含む外部ガイダンスを用いて,分布ギャップを計測し,そのギャップを補正するために再サンプリング重量を設計する。 実験の結果,提案手法はオブジェクトの誤りを効果的に修正し,画像生成タスクの画質を向上させることができることがわかった。 特に,本手法は,MS-COCO上でのFIDが5%,FIDが1.0,既存の最強ベースラインが5%向上した。 私たちのコードはhttps://github.com/UCSB-NLP-Chang/diffusion_resampling.gitで公開されています。

関連論文リスト

• Multi-Feature Aggregation in Diffusion Models for Enhanced Face Super-Resolution [6.055006354743854]
  超解像を生成するために,複数の低画質画像から抽出した特徴と組み合わせた低解像度画像を利用するアルゴリズムを開発した。 他のアルゴリズムとは異なり、我々のアプローチは属性情報を明示的に提供せずに顔の特徴を復元する。 これは、高解像度画像と低解像度画像を組み合わせて、より信頼性の高い超高解像度画像を生成するコンディショナーとして初めて使用される。
  論文  参考訳（メタデータ） (2024-08-27T20:08:33Z)
• Rethinking Score Distillation as a Bridge Between Image Distributions [97.27476302077545]
  提案手法は, 劣化した画像(ソース)を自然画像分布(ターゲット)に転送することを目的としている。 本手法は,複数の領域にまたがって容易に適用可能であり,特殊な手法の性能のマッチングや評価を行うことができる。 テキストから2D、テキストベースのNeRF最適化、絵画を実画像に変換すること、光学錯視生成、および3Dスケッチから実画像に変換することにおいて、その実用性を実証する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder [29.924160271522354]
  超解像度(SR)と画像生成はコンピュータビジョンにおいて重要なタスクであり、現実世界のアプリケーションで広く採用されている。 しかし、既存のほとんどの手法は、固定スケールの倍率でのみ画像を生成し、過度なスムーシングやアーティファクトに悩まされている。 最も関連する研究は、インプリシット神経表現(INR)をデノナイズ拡散モデルに適用し、連続分解能で多種多様で高品質なSR結果を得た。 任意のスケールで入力画像の超解像やランダムノイズから生成できる新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-15T12:45:40Z)
• Mitigating Data Consistency Induced Discrepancy in Cascaded Diffusion Models for Sparse-view CT Reconstruction [4.227116189483428]
  本研究は, 離散性緩和フレームワークを用いた新規なカスケード拡散について紹介する。 潜在空間の低画質画像生成と画素空間の高画質画像生成を含む。 これは、いくつかの推論ステップをピクセル空間から潜在空間に移すことによって計算コストを最小化する。
  論文  参考訳（メタデータ） (2024-03-14T12:58:28Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Real-World Image Variation by Aligning Diffusion Inversion Chain [53.772004619296794]
  生成した画像と実世界の画像の間にはドメインギャップがあり、これは実世界の画像の高品質なバリエーションを生成する上での課題である。 実世界画像のアライメントによる変化(RIVAL)と呼ばれる新しい推論パイプラインを提案する。 我々のパイプラインは、画像生成プロセスとソース画像の反転チェーンを整列させることにより、画像の変動の生成品質を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T04:09:47Z)
• SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
  本稿では,空間拡散モデル(SDM)を提案する。 また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
  論文  参考訳（メタデータ） (2022-12-06T13:30:18Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。