論文の概要: Incremental Beam Manipulation for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2102.02574v1
• Date: Thu, 4 Feb 2021 12:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 23:25:31.229183
• Title: Incremental Beam Manipulation for Natural Language Generation
• Title（参考訳）: 自然言語生成のためのインクリメンタルビーム操作
• Authors: James Hargreaves, Andreas Vlachos, Guy Emerson
• Abstract要約: ビームサーチの出力を再現することは一般的であるが、これはビームサーチに頼って適切な仮説を導出する。 ビームサーチの他の代替手段では、モデルのトレーニングを変更する必要があり、適用性を制限する。 本論文では, 終端のみでなく, 復号時にビーム内の仮説を再定位するインクリメンタルビーム操作を提案する。
• 参考スコア（独自算出の注目度）: 26.295452668557452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of natural language generation systems has improved substantially with modern neural networks. At test time they typically employ beam search to avoid locally optimal but globally suboptimal predictions. However, due to model errors, a larger beam size can lead to deteriorating performance according to the evaluation metric. For this reason, it is common to rerank the output of beam search, but this relies on beam search to produce a good set of hypotheses, which limits the potential gains. Other alternatives to beam search require changes to the training of the model, which restricts their applicability compared to beam search. This paper proposes incremental beam manipulation, i.e. reranking the hypotheses in the beam during decoding instead of only at the end. This way, hypotheses that are unlikely to lead to a good final output are discarded, and in their place hypotheses that would have been ignored will be considered instead. Applying incremental beam manipulation leads to an improvement of 1.93 and 5.82 BLEU points over vanilla beam search for the test sets of the E2E and WebNLG challenges respectively. The proposed method also outperformed a strong reranker by 1.04 BLEU points on the E2E challenge, while being on par with it on the WebNLG dataset.
• Abstract（参考訳）: 自然言語生成システムの性能は、現代のニューラルネットワークで大幅に向上した。 テスト時には通常、局所的に最適だがグローバルに最適化された予測を避けるためにビーム探索を用いる。 しかし, モデル誤差のため, ビームサイズが大きくなると, 評価基準による劣化が生じる可能性がある。 そのため、ビームサーチの出力を再帰することは一般的であるが、これはビームサーチに頼って仮説のよいセットを生成し、ポテンシャルゲインを制限する。 ビームサーチの他の代替手段では、ビームサーチと比較して適用性を制限するモデルのトレーニングを変更する必要がある。 本稿では,インクリメンタルビーム操作を提案する。 終端のみではなく、デコード中にビーム内の仮説を再ランク付けする。 このように、良い最終的な出力につながる可能性が低い仮説は破棄され、それらの場所で無視されたであろう仮説は代わりに考慮されます。 インクリメンタルビーム操作を適用すると、それぞれE2EとWebNLGの試験セットのバニラビーム探索よりも1.93と5.82のBLEUポイントが改善される。 提案手法は、WebNLGデータセットでそれと同等である一方で、E2Eチャレンジで1.04 BLEUポイントで強力なリランクラーを上回った。

関連論文リスト

• Semantic-guided Search for Efficient Program Repair with Large Language Models [0.9319432628663639]
  FLAMESは、修復効率とメモリ効率を向上させるためにセマンティック誘導パッチ生成を使用する。 FLAMESは従来のLCMベースのAPRに比べてメモリ消費を最大83%削減する。 FLAMESはDefects4JとHumanEval-Javaデータセットで333と163のバグに対して133と103の修正を成功させた。
  論文  参考訳（メタデータ） (2024-10-22T02:59:47Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation [20.76001576262768]
  本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。 また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T14:35:24Z)
• An Empirical Investigation of Beam-Aware Training in Supertagging [29.819517845454815]
  構造的予測は、最大可能性を持つ局所正規化モデルを訓練し、ビームサーチでほぼ復号化することで、しばしばアプローチされる。 ビームアウェアトレーニングはこれらの問題に対処することを目的としているが、それがパフォーマンスに与える影響について理解されていないため、まだ広く使われていない。
  論文  参考訳（メタデータ） (2020-10-10T12:25:18Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。