論文の概要: Joint Generator-Ranker Learning for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2206.13974v3
• Date: Sun, 28 May 2023 13:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 03:59:16.553720
• Title: Joint Generator-Ranker Learning for Natural Language Generation
• Title（参考訳）: 自然言語生成のためのジョイントジェネレータ・ランカー学習
• Authors: Weizhou Shen, Yeyun Gong, Yelong Shen, Song Wang, Xiaojun Quan, Nan Duan, Weizhu Chen
• Abstract要約: JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
• 参考スコア（独自算出の注目度）: 99.16268050116717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generate-then-rank is a widely used mechanism for text generation, where a generator produces multiple text candidates and a ranker chooses the best one among the text candidates. However, existing methods usually train the generator and the ranker individually, neglecting the mutual feedback that could further enhance the generation quality. To tackle this limitation, we propose JGR, a novel joint training algorithm that integrates the generator and the ranker in a single framework. JGR optimizes the generator with a hybrid objective that combines data likelihood and ranker reward, and trains the ranker with a contrastive loss that compares the generator outputs. By iteratively updating the generator and the ranker, JGR can effectively harmonize their learning and enhance their quality jointly. We evaluate JGR on various text generation tasks and demonstrate that it surpasses existing methods on four public datasets across three common generation scenarios. Our code and models are publicly available at https://github.com/microsoft/ProphetNet/tree/master/JGR.
• Abstract（参考訳）: Generate-then-rankはテキスト生成のための広く使われているメカニズムであり、ジェネレータは複数のテキスト候補を生成し、ローダはテキスト候補の中で最良のものを選択する。 しかし、既存の手法は通常、ジェネレータとランチャーを個別に訓練し、相互フィードバックを無視して生成品質をさらに向上させる。 この制限に対処するために,ジェネレータとランカを単一のフレームワークに統合した新しい共同学習アルゴリズムであるJGRを提案する。 JGRは、データ可能性とランサー報酬を組み合わせたハイブリッド目的でジェネレータを最適化し、ジェネレータ出力と比較する対照的な損失でローダを訓練する。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。 各種テキスト生成タスクにおけるJGRの評価を行い,3つの共通生成シナリオにおける4つの公開データセット上の既存手法を超えることを示す。 私たちのコードとモデルはhttps://github.com/microsoft/ProphetNet/tree/master/JGRで公開されています。

関連論文リスト

• Preference-Guided Refactored Tuning for Retrieval Augmented Code Generation [10.736876118242384]
  本稿では,効率的なコード生成のための新しいフレームワークであるRRG(Retrieve, Refactor, Generate)を提案する。 このフレームワークは、レトリバーとジェネレータの間にコードソースモジュールを導入し、それらをブリッジする。 RRGは、EMでは28%、BLEUでは13%、CodeBLEUでは6.8%に向上した。
  論文  参考訳（メタデータ） (2024-09-24T09:15:37Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Generative Representational Instruction Tuning [89.76840377003178]
  GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-02-15T12:12:19Z)
• MGR: Multi-generator Based Rationalization [14.745836934156427]
  合理化は、ジェネレータと予測器を使用して、自己説明型NLPモデルを構築することである。 本稿では,この2つの問題を同時に解くために,MGRというシンプルで効果的な手法を提案する。 MGRは最先端手法と比較してF1スコアを最大20.9%改善することを示した。
  論文  参考訳（メタデータ） (2023-05-08T06:36:46Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Gaussian-Bernoulli RBMs Without Tears [113.62579223055958]
  本稿では,Gibbs-Langevinサンプリングアルゴリズムを提案する。 雑音から始まるGRBMで画像を生成できるように改良されたコントラッシブ・ディペンジェンス(CD)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:22:55Z)
• KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation [36.78998964614422]
  我々は、KGR4と呼ばれる知識強化コモンセンス生成フレームワークを提案し、その4つの段階:検索、振り返り、再定義、再考を行う。 KGR4は公式のリーダーボードで33.56のSPICEポイントを獲得し、2.49のSPICEポイントを達成している。
  論文  参考訳（メタデータ） (2021-12-15T17:00:11Z)
• Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation [24.46198850268219]
  生成的敵モデルがテキスト生成タスクに広く適用されている。 対向発電機は、従来の最大可能性アプローチによって経験される露光バイアスを軽減する。 本稿では,効率よくモード崩壊を加速させることにより,対向テキスト生成の性能向上を目的とした新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T04:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。