論文の概要: Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows
- arxiv url: http://arxiv.org/abs/2305.18910v2
- Date: Wed, 1 Nov 2023 10:07:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 17:43:36.492769
- Title: Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows
- Title(参考訳): GANと正規化フローを用いた生成モデルのための高精度リコールダイバージェンス最適化
- Authors: Alexandre Verine, Benjamin Negrevergne, Muni Sreenivas Pydi, Yann
Chevaleyre
- Abstract要約: 本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
- 参考スコア(独自算出の注目度): 54.050498411883495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving a balance between image quality (precision) and diversity (recall)
is a significant challenge in the domain of generative models. Current
state-of-the-art models primarily rely on optimizing heuristics, such as the
Fr\'echet Inception Distance. While recent developments have introduced
principled methods for evaluating precision and recall, they have yet to be
successfully integrated into the training of generative models. Our main
contribution is a novel training method for generative models, such as
Generative Adversarial Networks and Normalizing Flows, which explicitly
optimizes a user-defined trade-off between precision and recall. More
precisely, we show that achieving a specified precision-recall trade-off
corresponds to minimizing a unique $f$-divergence from a family we call the
\textit{PR-divergences}. Conversely, any $f$-divergence can be written as a
linear combination of PR-divergences and corresponds to a weighted
precision-recall trade-off. Through comprehensive evaluations, we show that our
approach improves the performance of existing state-of-the-art models like
BigGAN in terms of either precision or recall when tested on datasets such as
ImageNet.
- Abstract(参考訳): 画像品質(精度)と多様性(リコール)のバランスをとることは、生成モデルの領域において重要な課題である。
現在の最先端モデルは、主にFr'echet Inception Distanceのようなヒューリスティックの最適化に依存している。
近年の研究では、精度とリコールを評価するための原理的手法が導入されているが、生成モデルの訓練にうまく統合されていない。
本研究の主な貢献は,精度とリコールの間のユーザ定義トレードオフを明示的に最適化する生成的逆ネットワークや正規化フローなど,生成モデルに対する新たなトレーニング手法である。
より正確には、特定の精密呼び出しトレードオフを達成することは、私たちが \textit{pr-divergences}と呼ぶファミリーから一意な$f$-divergenceを最小化することを意味する。
逆に、$f$-divergence はPR-divergences の線形結合として記述することができ、重み付けされた精度-リコールトレードオフに対応する。
包括的評価により,ImageNetなどのデータセットでテストした場合に,BigGANのような既存の最先端モデルの性能が向上することを示す。
関連論文リスト
- Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳(メタデータ) (2023-10-18T17:56:24Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2023-02-01T17:46:47Z) - Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。
Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。
実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文 参考訳(メタデータ) (2022-08-30T10:28:50Z) - Model soups: averaging weights of multiple fine-tuned models improves
accuracy without increasing inference time [69.7693300927423]
複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。
モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
論文 参考訳(メタデータ) (2022-03-10T17:03:49Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳(メタデータ) (2020-12-12T04:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。