論文の概要: Discriminator Guidance for Autoregressive Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.15817v1
- Date: Tue, 24 Oct 2023 13:14:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 18:40:10.735015
- Title: Discriminator Guidance for Autoregressive Diffusion Models
- Title(参考訳): 自己回帰拡散モデルのための判別器ガイダンス
- Authors: Filip Ekstr\"om Kelvinius, Fredrik Lindsten
- Abstract要約: 本稿では,自己回帰拡散モデルの設定において差別的ガイダンスを導入する。
判別器と事前学習した生成モデルとを個別のケースで併用する方法を導出する。
- 参考スコア(独自算出の注目度): 14.340883856076099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce discriminator guidance in the setting of Autoregressive
Diffusion Models. The use of a discriminator to guide a diffusion process has
previously been used for continuous diffusion models, and in this work we
derive ways of using a discriminator together with a pretrained generative
model in the discrete case. First, we show that using an optimal discriminator
will correct the pretrained model and enable exact sampling from the underlying
data distribution. Second, to account for the realistic scenario of using a
sub-optimal discriminator, we derive a sequential Monte Carlo algorithm which
iteratively takes the predictions from the discrimiator into account during the
generation process. We test these approaches on the task of generating
molecular graphs and show how the discriminator improves the generative
performance over using only the pretrained model.
- Abstract(参考訳): 自己回帰拡散モデルの設定において判別器ガイダンスを導入する。
拡散過程を導くための判別器の使用は、これまで連続拡散モデルに用いられてきたが、本研究では、離散的な場合において、事前訓練された生成モデルとともに判別器を使用する方法が導出される。
まず,最適判別器を用いて事前学習したモデルを修正し,基礎となるデータ分布から正確なサンプリングを可能にすることを示す。
第2に、サブ最適判別器を使用する現実的なシナリオを考慮し、生成過程において、識別器からの予測を反復的に考慮した逐次モンテカルロアルゴリズムを導出する。
これらのアプローチを分子グラフ生成のタスクでテストし,事前学習したモデルのみを用いて識別器が生成性能をいかに改善するかを示す。
関連論文リスト
- Fair Sampling in Diffusion Models through Switching Mechanism [4.990206466948269]
本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。
提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
論文 参考訳(メタデータ) (2024-01-06T06:55:26Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - Diffusion-TTA: Test-time Adaptation of Discriminative Models via
Generative Feedback [97.0874638345205]
生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。
提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。
拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
論文 参考訳(メタデータ) (2023-11-27T18:59:53Z) - Unsupervised Discovery of Interpretable Directions in h-space of
Pre-trained Diffusion Models [63.1637853118899]
本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。
我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。
それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
論文 参考訳(メタデータ) (2023-10-15T18:44:30Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Refining Generative Process with Discriminator Guidance in Score-based
Diffusion Models [15.571673352656264]
ディスクリミネータガイダンスは、事前学習した拡散モデルのサンプル生成を改善することを目的としている。
GANとは異なり、我々の手法はスコアネットワークと差別ネットワークの合同トレーニングを必要としない。
検証データのFID (1.68) やリコール (0.66) と同様, ImageNet 256x256 で FID 1.83 をリコールし,0.64 をリコールした。
論文 参考訳(メタデータ) (2022-11-28T20:04:12Z) - Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。
本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。
本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文 参考訳(メタデータ) (2021-07-29T17:42:12Z) - Exploring Dropout Discriminator for Domain Adaptation [27.19677042654432]
新しいドメインへの分類器の適応は、機械学習における難しい問題の1つである。
本稿では, サンプル分布の分散を徐々に増大させるカリキュラムベースのドロップアウト判別器を提案する。
識別器のアンサンブルは、モデルがデータ分散を効率的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-07-09T06:11:34Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。