論文の概要: To Beam Or Not To Beam: That is a Question of Cooperation for Language GANs

• arxiv url: http://arxiv.org/abs/2106.06363v1
• Date: Fri, 11 Jun 2021 13:04:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:35:02.302342
• Title: To Beam Or Not To Beam: That is a Question of Cooperation for Language GANs
• Title（参考訳）: ビームするか、ビームしないか:それは言語GANのための協調の問題である
• Authors: Thomas Scialom, Paul-Alexis Dray, Sylvain Lamprier, Benjamin Piwowarski, Jacopo Staiano
• Abstract要約: 言語GANは、強化学習手法を通じて、差別者ネットワークが提供する報酬から最適化される必要がある。 この協調原理に基づいて構築されたSelfGANフレームワークは,Teacher Forcingより優れ,2つの課題に対する最先端の成果が得られることを示す。
• 参考スコア（独自算出の注目度）: 31.040350519448342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the discrete nature of words, language GANs require to be optimized from rewards provided by discriminator networks, via reinforcement learning methods. This is a much harder setting than for continuous tasks, which enjoy gradient flows from discriminators to generators, usually leading to dramatic learning instabilities. However, we claim that this can be solved by making discriminator and generator networks cooperate to produce output sequences during training. These cooperative outputs, inherently built to obtain higher discrimination scores, not only provide denser rewards for training, but also form a more compact artificial set for discriminator training, hence improving its accuracy and stability. In this paper, we show that our SelfGAN framework, built on this cooperative principle, outperforms Teacher Forcing and obtains state-of-the-art results on two challenging tasks, Summarization and Question Generation.
• Abstract（参考訳）: 単語の離散的な性質から、言語ganは強化学習法を通じて、識別ネットワークが提供する報酬から最適化される必要がある。 これは連続的なタスクよりもはるかに難しい設定で、識別器からジェネレータへの勾配の流れを楽しみ、通常は劇的な学習不安定をもたらす。 しかし,識別器とジェネレータネットワークが協調してトレーニング中に出力シーケンスを生成することで,この問題を解決できると主張している。 これらの協調出力は、本質的により高い差別スコアを得るために構築され、訓練のためのより高密度な報酬を提供するだけでなく、識別器訓練のためのよりコンパクトな人工セットを形成する。 本稿では,この協調原理に基づいて構築された自己GANフレームワークが,教師の強制力より優れ,要約と質問生成という2つの課題に対する最先端の成果が得られることを示す。

関連論文リスト

• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Structural Adversarial Objectives for Self-Supervised Representation Learning [19.471586646254373]
  本稿では,自己指導型表現学習の差別化を,構造モデリングの責務を付加することで行うことを提案する。 ネットワーク上の効率的なスムーズ性正規化器と組み合わせて、これらの目的は識別器を案内し、情報表現の抽出を学ぶ。 実験により,GANを自己指導対象に組み込むことで,表現学習の観点から評価された差別化要因が,対照的な学習アプローチによって訓練されたネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-09-30T12:27:53Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Latent Policies for Adversarial Imitation Learning [21.105328282702885]
  本稿では,専門家によるデモンストレーションからロボットの移動と操作の学習について考察する。 GAIL(Generative Adversarial mimicion Learning)は、エージェント遷移と専門家を区別する判別器を訓練し、次に、識別器出力によって定義された報酬を使用してエージェントのポリシー生成を最適化する。 この研究の重要な洞察は、適切な潜在タスク空間で模倣学習を行うことで、高次元問題に挑戦してもトレーニングプロセスを安定させるということである。
  論文  参考訳（メタデータ） (2022-06-22T18:06:26Z)
• Generative Cooperative Networks for Natural Language Generation [25.090455367573988]
  本稿では,リアルテキストのサンプルを出力する生成ポリシーとともに,識別器アーキテクチャを協調的に使用する生成協調ネットワークについて紹介する。 我々は,提案手法の収束を理論的に保証し,2つの主要なNLGタスクにおいて,最先端の成果を実証的に達成するための様々な効率的な復号化手法について検討する。
  論文  参考訳（メタデータ） (2022-01-28T18:36:57Z)
• Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
  コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T04:23:48Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)
• Making Method of Moments Great Again? -- How can GANs learn distributions [34.91089650516183]
  Generative Adrial Networks (GAN) は、複雑な現実世界の分布を学習するために広く使われているモデルである。 GANでは、ジェネレータの訓練は、判別器がもはやジェネレータの出力とトレーニングの一連の例を区別できない場合、通常停止する。 我々は,このジェネレータ・ディスクリミネーター・トレーニングプロセスを理解するための理論的結果を確立する。
  論文  参考訳（メタデータ） (2020-03-09T10:50:35Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。