論文の概要: Joint Generator-Ranker Learning for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2206.13974v1
• Date: Tue, 28 Jun 2022 12:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 12:54:47.161251
• Title: Joint Generator-Ranker Learning for Natural Language Generation
• Title（参考訳）: 自然言語生成のためのジョイントジェネレータ・ランカー学習
• Authors: Weizhou Shen, Yeyun Gong, Yelong Shen, Song Wang, Xiaojun Quan, Nan Duan, Weizhu Chen
• Abstract要約: テキスト生成タスクのためのJGRトレーニングアルゴリズムを提案する。 JGRでは、ジェネレータモデルは、トレーニングコーパスの確率とランサーモデルが与える期待報酬の2つの目標を最大化することによって訓練される。 実証実験において,提案したJGRモデルは,5つの公開ベンチマークで新しい最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 99.16268050116717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to exposure bias, most existing natural language generation (NLG) models trained by maximizing the likelihood objective predict poor text results during the inference stage. In this paper, to tackle this problem, we revisit the generate-then-rank framework and propose a joint generator-ranker (JGR) training algorithm for text generation tasks. In JGR, the generator model is trained by maximizing two objectives: the likelihood of the training corpus and the expected reward given by the ranker model. Meanwhile, the ranker model takes input samples from the generator model and learns to distinguish good samples from the generation pool. The generator and ranker models are alternately optimized till convergence. In the empirical study, the proposed JGR model achieves new state-of-the-art performance on five public benchmarks covering three popular generation tasks: summarization, question generation, and response generation. We will make code, data, and models available at https://github.com/microsoft/AdvNLG.
• Abstract（参考訳）: 露光バイアスのため、ほとんどの既存の自然言語生成(NLG)モデルは、推論段階でのテキスト結果の予測を最大化することで訓練されている。 本稿では,この問題に対処するため,テキスト生成タスクのための生成列フレームワークを再検討し,JGR(Joint Generator-ranker)トレーニングアルゴリズムを提案する。 JGRでは、ジェネレータモデルは、トレーニングコーパスの確率とランサーモデルが与える期待報酬の2つの目標を最大化することによって訓練される。 一方、ランサーモデルでは、ジェネレータモデルから入力サンプルを取得し、生成プールから良いサンプルを区別することを学ぶ。 ジェネレータとランチャーモデルは収束するまで交互に最適化される。 実証実験において,提案したJGRモデルは,要約,質問生成,応答生成の3つの一般的なタスクをカバーする5つの公開ベンチマークに対して,新しい最先端性能を実現する。 コード、データ、モデルはhttps://github.com/microsoft/AdvNLG.comで公開します。

関連論文リスト

• NLGR: Utilizing Neighbor Lists for Generative Rerank in Personalized Recommendation Systems [13.848284819312953]
  ジェネレーティブリジェネレータの近隣リストモデルは、空間におけるジェネレータのパフォーマンスを改善することを目的としている。 本稿では,既存のリストから任意の隣接リストへ柔軟にジャンプ可能な,サンプリングに基づく非自己回帰生成手法を提案する。 NLGRの有効性を実証し,NLGRをMeituanフードデリバリープラットフォームに導入することに成功している。
  論文  参考訳（メタデータ） (2025-02-10T02:06:17Z)
• Preference-Guided Refactored Tuning for Retrieval Augmented Code Generation [10.736876118242384]
  本稿では,効率的なコード生成のための新しいフレームワークであるRRG(Retrieve, Refactor, Generate)を提案する。 このフレームワークは、レトリバーとジェネレータの間にコードソースモジュールを導入し、それらをブリッジする。 RRGは、EMでは28%、BLEUでは13%、CodeBLEUでは6.8%に向上した。
  論文  参考訳（メタデータ） (2024-09-24T09:15:37Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Generative Representational Instruction Tuning [89.76840377003178]
  GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-02-15T12:12:19Z)
• MGR: Multi-generator Based Rationalization [14.745836934156427]
  合理化は、ジェネレータと予測器を使用して、自己説明型NLPモデルを構築することである。 本稿では,この2つの問題を同時に解くために,MGRというシンプルで効果的な手法を提案する。 MGRは最先端手法と比較してF1スコアを最大20.9%改善することを示した。
  論文  参考訳（メタデータ） (2023-05-08T06:36:46Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Gaussian-Bernoulli RBMs Without Tears [113.62579223055958]
  本稿では,Gibbs-Langevinサンプリングアルゴリズムを提案する。 雑音から始まるGRBMで画像を生成できるように改良されたコントラッシブ・ディペンジェンス(CD)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:22:55Z)
• Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation [24.46198850268219]
  生成的敵モデルがテキスト生成タスクに広く適用されている。 対向発電機は、従来の最大可能性アプローチによって経験される露光バイアスを軽減する。 本稿では,効率よくモード崩壊を加速させることにより,対向テキスト生成の性能向上を目的とした新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T04:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。