論文の概要: A Call for Clarity in Beam Search: How It Works and When It Stops
- arxiv url: http://arxiv.org/abs/2204.05424v3
- Date: Wed, 28 Feb 2024 08:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 19:44:28.646526
- Title: A Call for Clarity in Beam Search: How It Works and When It Stops
- Title（参考訳）: ビームサーチにおける明快さのコール:どのように機能し、いつ止まるか
- Authors: Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Dragomir Radev, Yejin
Choi, and Noah A. Smith
- Abstract要約: 我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。
実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
- 参考スコア（独自算出の注目度）: 125.55175954381991
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text generation with beam search has proven successful in a wide range of
applications. We point out that, though largely overlooked in the literature,
the commonly-used implementation of beam decoding (e.g., Hugging Face
Transformers and fairseq) uses a first come, first served heuristic: it keeps a
set of already completed sequences over time steps and stops when the size of
this set reaches the beam size. Based on this finding, we introduce a patience
factor, a simple modification to this beam decoding implementation, that
generalizes the stopping criterion and provides flexibility to the depth of
search. Empirical results demonstrate that adjusting this patience factor
improves decoding performance of strong pretrained models on news text
summarization and machine translation over diverse language pairs, with a
negligible inference slowdown. Our approach only modifies one line of code and
can be thus readily incorporated in any implementation. Further, we find that
different versions of beam decoding result in large performance differences in
summarization, demonstrating the need for clarity in specifying the beam search
implementation in research work. Our code will be available upon publication.
- Abstract（参考訳）: ビーム検索によるテキスト生成は、幅広いアプリケーションで成功している。
文献では主に見過ごされているが、一般的に使われているビームデコーディングの実装(例えば、Hugging Face Transformers や Fairseq)は、最初に提供されたヒューリスティック(英語版)を用いており、このセットのサイズがビームサイズに達すると停止する。
この結果に基づき,このビーム復号化実装の簡単な修正である忍耐係数を導入し,停止基準を一般化し,探索の深さに柔軟性を与える。
実験結果から,この忍耐率の調整により,ニューステキストの要約や機械翻訳における強い事前学習モデルの復号性能が向上することが示された。
このアプローチは1行のコードだけを変更して,任意の実装に簡単に組み込むことができます。
さらに,ビーム復号化の異なるバージョンは要約において大きな性能差をもたらし,研究におけるビーム探索実装の明確化の必要性が示された。
私たちのコードは出版時に利用可能になります。
関連論文リスト
- Dynamic-Width Speculative Beam Decoding for Efficient LLM Inference [35.730941605490194]
大規模言語モデル(LLM)は多くの実世界のタスクで優れたパフォーマンスを示している。
投機的復号化は有望な解決策として現れ、より小さな補助モデルを利用して将来のトークンをドラフトしている。
本稿では,ビームサンプリングによる投機的復号化の新たな統合について検討する。
論文 参考訳（メタデータ） (2024-09-25T02:20:42Z) - LRANet: Towards Accurate and Efficient Scene Text Detection with
Low-Rank Approximation Network [63.554061288184165]
低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。
異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。
我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
論文 参考訳（メタデータ） (2023-06-27T02:03:46Z) - Improved Beam Search for Hallucination Mitigation in Abstractive
Summarization [1.2328446298523066]
本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。
本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。
提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
論文 参考訳（メタデータ） (2022-12-06T02:33:47Z) - Determinantal Beam Search [75.84501052642361]
ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。
複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。
ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
論文 参考訳（メタデータ） (2021-06-14T13:01:46Z) - TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。
提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。
提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
論文 参考訳（メタデータ） (2021-04-16T17:55:28Z) - If beam search is the answer, what was the question? [78.71330480725668]
ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。
この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
論文 参考訳（メタデータ） (2020-10-06T11:57:03Z) - Best-First Beam Search [78.71330480725668]
本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。
ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
論文 参考訳（メタデータ） (2020-07-08T05:56:01Z) - Investigating Label Bias in Beam Search for Open-ended Text Generation [8.331919991368366]
オープンエンドテキスト生成では、ビームサーチはしばしば繰り返しおよびジェネリックテキストを生成する。
標準Seq2seqモデルは、その局所正規化確率の定式化によりラベルバイアスに悩まされる。
局所正規化最大推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、難易度を犠牲にすることなくラベルバイアスを低減できる。
論文 参考訳（メタデータ） (2020-05-22T05:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。