論文の概要: Compressed Image Generation with Denoising Diffusion Codebook Models
- arxiv url: http://arxiv.org/abs/2502.01189v3
- Date: Mon, 10 Feb 2025 13:11:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:26:22.215087
- Title: Compressed Image Generation with Denoising Diffusion Codebook Models
- Title（参考訳）: Denoising Diffusion Codebook Modelを用いた圧縮画像生成
- Authors: Guy Ohayon, Hila Manor, Tomer Michaeli, Michael Elad,
- Abstract要約: 本稿では,高品質な画像サンプルと非圧縮ビットストリーム表現を生成する新しい生成手法を提案する。
これは、逆拡散における標準ガウスノイズサンプリングを、固定イドガウスベクトルの予め定義されたコードブックから選択したノイズサンプルに置き換えることによって得られる。
DDCMを利用して、与えられた画像に最もよくマッチするコードブックからノイズを抽出し、生成モデルを高能率な損失画像に変換する。
- 参考スコア（独自算出の注目度）: 31.58365182858562
- License:
- Abstract: We present a novel generative approach based on Denoising Diffusion Models (DDMs), which produces high-quality image samples along with their losslessly compressed bit-stream representations. This is obtained by replacing the standard Gaussian noise sampling in the reverse diffusion with a selection of noise samples from pre-defined codebooks of fixed iid Gaussian vectors. Surprisingly, we find that our method, termed Denoising Diffusion Codebook Model (DDCM), retains sample quality and diversity of standard DDMs, even for extremely small codebooks. We leverage DDCM and pick the noises from the codebooks that best match a given image, converting our generative model into a highly effective lossy image codec achieving state-of-the-art perceptual image compression results. More generally, by setting other noise selections rules, we extend our compression method to any conditional image generation task (e.g., image restoration), where the generated images are produced jointly with their condensed bit-stream representations. Our work is accompanied by a mathematical interpretation of the proposed compressed conditional generation schemes, establishing a connection with score-based approximations of posterior samplers for the tasks considered.
- Abstract（参考訳）: 本稿では,DDM(Denoising Diffusion Models)に基づく新しい生成手法を提案する。
これは、逆拡散における標準ガウスノイズサンプリングを、固定イドガウスベクトルの予め定義されたコードブックから選択したノイズサンプルに置き換えることによって得られる。
驚いたことに、この手法はDDCM(Denoising Diffusion Codebook Model)と呼ばれ、非常に小さなコードブックであっても標準DDMのサンプル品質と多様性を保っている。
我々はDDCMを利用して、与えられた画像に最もよくマッチするコードブックからノイズを抽出し、その生成モデルを最先端の知覚画像圧縮結果を達成する高効率な損失画像コーデックに変換する。
より一般的には、他のノイズ選択規則を設定することにより、圧縮手法を任意の条件付き画像生成タスク(例えば、画像復元)に拡張し、生成した画像は、圧縮されたビットストリーム表現と共同で生成される。
本研究は,提案した圧縮条件生成スキームの数学的解釈を伴い,検討したタスクに対する後部サンプルのスコアに基づく近似との接続を確立する。
関連論文リスト
- Glauber Generative Model: Discrete Diffusion Models via Binary Classification [21.816933208895843]
離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。
GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。
言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-27T10:42:13Z) - Correcting Diffusion-Based Perceptual Image Compression with Privileged End-to-End Decoder [49.01721042973929]
本稿では,特権付きエンド・ツー・エンド・エンド・デコーダ・モデルを用いた拡散型画像圧縮法を提案する。
従来の知覚圧縮法と比較して,歪みと知覚の両方において,本手法の優位性を示す実験を行った。
論文 参考訳（メタデータ） (2024-04-07T10:57:54Z) - Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder [29.924160271522354]
超解像度(SR)と画像生成はコンピュータビジョンにおいて重要なタスクであり、現実世界のアプリケーションで広く採用されている。
しかし、既存のほとんどの手法は、固定スケールの倍率でのみ画像を生成し、過度なスムーシングやアーティファクトに悩まされている。
最も関連する研究は、インプリシット神経表現(INR)をデノナイズ拡散モデルに適用し、連続分解能で多種多様で高品質なSR結果を得た。
任意のスケールで入力画像の超解像やランダムノイズから生成できる新しいパイプラインを提案する。
論文 参考訳（メタデータ） (2024-03-15T12:45:40Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳（メタデータ） (2023-09-29T03:24:24Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - High-Perceptual Quality JPEG Decoding via Posterior Sampling [13.238373528922194]
JPEGアーチファクト修正のための異なるパラダイムを提案する。
我々は、圧縮された入力と整合しながら、シャープで詳細で視覚的に再構成された画像を得ることを目指している。
我々のソリューションは、完全な整合性のある入力に対して、多種多様な可塑性かつ高速な再構成を提供する。
論文 参考訳（メタデータ） (2022-11-21T19:47:59Z) - Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。
VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。
提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
論文 参考訳（メタデータ） (2022-09-14T21:53:27Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - Lossy Compression with Gaussian Diffusion [28.930398810600504]
非条件拡散生成モデルに基づく新しい損失圧縮手法DiffCについて述べる。
エンコーダ変換の欠如にもかかわらず、概念実証を実装し、驚くほどうまく機能することを発見した。
流れに基づく再構築は,祖先サンプリングよりも高頻度で3dBのゲインを達成できることを示す。
論文 参考訳（メタデータ） (2022-06-17T16:46:31Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳（メタデータ） (2021-05-29T09:26:02Z) - Fully Unsupervised Diversity Denoising with Convolutional Variational
Autoencoders [81.30960319178725]
完全畳み込み変分オートエンコーダ(VAE)に基づく復調手法であるDivNoisingを提案する。
まず, 撮像ノイズモデルをデコーダに明示的に組み込むことにより, 教師なしの雑音発生問題をVAEフレームワーク内に定式化する手法を提案する。
このようなノイズモデルは、ノイズの多いデータから測定したり、ブートストラップしたり、トレーニング中に共同学習したりすることが可能である。
論文 参考訳（メタデータ） (2020-06-10T21:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。