Fugu-MT 論文翻訳(概要): Self-Consistent Learning: Cooperation between Generators and Discriminators

論文の概要: Self-Consistent Learning: Cooperation between Generators and Discriminators

arxiv url: http://arxiv.org/abs/2303.09075v1
Date: Thu, 16 Mar 2023 04:21:19 GMT
ステータス: 処理完了
システム内更新日: 2023-03-17 16:44:43.542908
Title: Self-Consistent Learning: Cooperation between Generators and Discriminators
Title（参考訳）: 自己整合性学習:ジェネレータと判別器の協調
Authors: Tong Wu, Hao Wang, Zhongshen Zeng, Wei Wang, Hai-Tao Zheng, Jiaxing Zhang
Abstract要約: GAN(Generative Adversarial Network)は,共同トレーニングを実現するために,識別モデルを用いて生成モデルを訓練する。本稿では,識別器とジェネレータをクローズドループ形式で協調的に学習するフレームワークであるtextitself-consistent Learning$フレームワークを提案する。このフレームワークは、トレーニングが容易で、モード崩壊や非収束といった不安定性がないことを証明しています。
参考スコア（独自算出の注目度）: 27.374200846794498
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Using generated data to improve the performance of downstream discriminative models has recently gained popularity due to the great development of pre-trained language models. In most previous studies, generative models and discriminative models are trained separately and thus could not adapt to any changes in each other. As a result, the generated samples can easily deviate from the real data distribution, while the improvement of the discriminative model quickly reaches saturation. Generative adversarial networks (GANs) train generative models via an adversarial process with discriminative models to achieve joint training. However, the training of standard GANs is notoriously unstable and often falls short of convergence. In this paper, to address these issues, we propose a $\textit{self-consistent learning}$ framework, in which a discriminator and a generator are cooperatively trained in a closed-loop form. The discriminator and the generator enhance each other during multiple rounds of alternating training until a scoring consensus is reached. This framework proves to be easy to train and free from instabilities such as mode collapse and non-convergence. Extensive experiments on sentence semantic matching demonstrate the effectiveness of the proposed framework: the discriminator achieves 10+ AP of improvement on the zero-shot setting and new state-of-the-art performance on the full-data setting.
Abstract（参考訳）: 下流の判別モデルのパフォーマンスを改善するために生成されたデータを使うことは、最近、事前学習された言語モデルの発展により、人気を集めている。これまでのほとんどの研究では、生成モデルと識別モデルは別々に訓練されており、互いにどのような変化にも適応できない。その結果、生成されたサンプルは実データ分布から容易に逸脱でき、識別モデルの改善はすぐに飽和に達する。 GAN(Generative Adversarial Network)は,共同トレーニングを実現するために,識別モデルを用いて生成モデルを訓練する。しかし、標準的なGANの訓練は不安定で、しばしば収束に欠ける。本稿では,これらの問題に対処するために,判別器と生成器が協調的に閉ループ形式で訓練される,$\textit{self- consistent learning}$フレームワークを提案する。判別器とジェネレータは、スコアコンセンサスに到達するまで、交互トレーニングの複数のラウンドで互いに強化する。このフレームワークはトレーニングが容易で、モード崩壊や非収束といった不安定性がないことが証明されている。判別器は、ゼロショット設定における10以上の改善と、フルデータ設定における新たな最先端性能を達成する。

関連論文リスト

Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文参考訳（メタデータ） (2023-02-17T18:45:04Z)
Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [44.652551588651114]
識別器の差分データ拡張技術は、訓練用GANのデータ効率の向上を実証する。本稿では,拡張データと原データから拡張パラメータを予測する,拡張型自己教師型識別器を提案する。
論文参考訳（メタデータ） (2022-05-31T10:35:55Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
ELECRec: Training Sequential Recommenders as Discriminators [94.93227906678285]
シーケンシャルレコメンデーションは、しばしば生成タスク、すなわち、ユーザの関心事の次の項目を生成するためにシーケンシャルエンコーダを訓練すると考えられる。我々は、ジェネレータではなく、識別器としてシーケンシャルレコメンデータを訓練することを提案する。本手法は,サンプル項目が「現実の」対象項目であるか否かを識別するために識別器を訓練する。
論文参考訳（メタデータ） (2022-04-05T06:19:45Z)
GANORCON: Are Generative Models Useful for Few-shot Segmentation? [35.79561690868794]
GAN表現は、特にトレーニングデータに制限がある場合、部分分割のような差別的なタスクに再利用することができる。コントラスト学習に基づく代替手法を提案し、その性能を標準の少数ショット部分セグメンテーションベンチマークで比較する。我々の実験は、GANベースのアプローチが大きなパフォーマンス上の優位性をもたらすだけでなく、そのマルチステップトレーニングは複雑で、ほぼマグニチュードが遅く、さらなるバイアスをもたらす可能性があることを明らかにした。
論文参考訳（メタデータ） (2021-12-01T22:06:20Z)
Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2021-11-12T18:13:45Z)
A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。このアプローチは大量のバイアスに対して非常に堅牢であることを示す。生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
論文参考訳（メタデータ） (2021-08-31T17:59:45Z)
Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文参考訳（メタデータ） (2021-06-06T00:04:49Z)
Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。プレトレーニング自体が多様性の優れた源であることが示される。本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-14T07:59:00Z)
Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文参考訳（メタデータ） (2020-04-05T12:36:06Z)
When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。