Fugu-MT 論文翻訳(概要): Enhancing Consistency-Based Image Generation via Adversarialy-Trained Classification and Energy-Based Discrimination

論文の概要: Enhancing Consistency-Based Image Generation via Adversarialy-Trained Classification and Energy-Based Discrimination

arxiv url: http://arxiv.org/abs/2405.16260v1
Date: Sat, 25 May 2024 14:53:52 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 22:17:06.196943
Title: Enhancing Consistency-Based Image Generation via Adversarialy-Trained Classification and Energy-Based Discrimination
Title（参考訳）: 適応的分類とエネルギーに基づく識別による一貫性に基づく画像生成の促進
Authors: Shelly Golan, Roy Ganz, Michael Elad,
Abstract要約: 本稿では,一貫性に基づく画像の生成を後処理する新しい手法を提案し,その知覚的品質を向上させる。本手法では,両部位を逆向きに訓練する共同分類器-識別器モデルを用いる。このジョイントマシンの指導の下で、サンプル特異的な投影勾配を用いることで、合成画像を洗練し、ImageNet 64x64データセット上でFIDスコアを改良した。
参考スコア（独自算出の注目度）: 13.238373528922194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The recently introduced Consistency models pose an efficient alternative to diffusion algorithms, enabling rapid and good quality image synthesis. These methods overcome the slowness of diffusion models by directly mapping noise to data, while maintaining a (relatively) simpler training. Consistency models enable a fast one- or few-step generation, but they typically fall somewhat short in sample quality when compared to their diffusion origins. In this work we propose a novel and highly effective technique for post-processing Consistency-based generated images, enhancing their perceptual quality. Our approach utilizes a joint classifier-discriminator model, in which both portions are trained adversarially. While the classifier aims to grade an image based on its assignment to a designated class, the discriminator portion of the very same network leverages the softmax values to assess the proximity of the input image to the targeted data manifold, thereby serving as an Energy-based Model. By employing example-specific projected gradient iterations under the guidance of this joint machine, we refine synthesized images and achieve an improved FID scores on the ImageNet 64x64 dataset for both Consistency-Training and Consistency-Distillation techniques.
Abstract（参考訳）: 最近導入されたConsistencyモデルは拡散アルゴリズムの代替として効率的であり、高速で高品質な画像合成を可能にする。これらの手法は、(比較的)単純なトレーニングを維持しながら、ノイズを直接データにマッピングすることで拡散モデルの遅さを克服する。一貫性モデルは高速な1段階または数段階の生成を可能にするが、通常は拡散起源と比較してサンプル品質がやや低下する。本研究では,一貫性に基づく画像の生成を後処理し,その知覚的品質を向上させる手法を提案する。本手法では,両部位を逆向きに訓練する共同分類器-識別器モデルを用いる。分類器は、指定されたクラスへの割り当てに基づいて画像を分類することを目的としているが、全く同じネットワークの判別部は、ソフトマックス値を活用して、入力画像と対象データ多様体との近接性を評価し、エネルギーベースモデルとして機能する。このジョイントマシンの指導のもと、サンプル特異的な勾配反復を用いて、合成画像を洗練し、一貫性-評価と一貫性-蒸留の両方のためのImageNet 64x64データセット上で改良されたFIDスコアを得る。

関連論文リスト

Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
論文参考訳（メタデータ） (2024-11-17T09:39:50Z)
MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T17:57:18Z)
Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
論文参考訳（メタデータ） (2024-10-06T20:38:14Z)
Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文参考訳（メタデータ） (2024-07-26T10:49:14Z)
Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文参考訳（メタデータ） (2024-03-28T22:25:05Z)
Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
論文参考訳（メタデータ） (2024-03-11T02:18:27Z)
Unlocking Pre-trained Image Backbones for Semantic Image Synthesis [29.688029979801577]
本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
論文参考訳（メタデータ） (2023-12-20T09:39:19Z)
Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文参考訳（メタデータ） (2023-09-30T02:03:22Z)
DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-18T05:03:48Z)
Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文参考訳（メタデータ） (2023-03-28T17:59:56Z)
Deep Image Fingerprint: Towards Low Budget Synthetic Image Detection and Model Lineage Analysis [8.777277201807351]
本研究では,実際の画像と区別できない画像の新たな検出方法を提案する。本手法は、既知の生成モデルから画像を検出し、微調整された生成モデル間の関係を確立することができる。本手法は,Stable Diffusion とMidversa が生成した画像に対して,最先端の事前学習検出手法に匹敵する性能を実現する。
論文参考訳（メタデータ） (2023-03-19T20:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。