論文の概要: Beam Decoding with Controlled Patience

• arxiv url: http://arxiv.org/abs/2204.05424v1
• Date: Mon, 11 Apr 2022 22:03:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 05:15:41.820683
• Title: Beam Decoding with Controlled Patience
• Title（参考訳）: 耐久性制御によるビーム復号
• Authors: Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Dragomir Radev, Yejin Choi, and Noah A. Smith
• Abstract要約: 我々は,この復号アルゴリズムの簡単な修正である忍耐係数を導入し,停止基準を一般化し,探索深度に柔軟性を提供する。 このアプローチは1行のコードだけを変更して,任意の実装に簡単に組み込むことができます。
• 参考スコア（独自算出の注目度）: 100.93738847108999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text generation with beam search has proven successful in a wide range of applications. The commonly-used implementation of beam decoding follows a first come, first served heuristic: it keeps a set of already completed sequences over time steps and stops when the size of this set reaches the beam size. We introduce a patience factor, a simple modification to this decoding algorithm, that generalizes the stopping criterion and provides flexibility to the depth of search. Extensive empirical results demonstrate that the patience factor improves decoding performance of strong pretrained models on news text summarization and machine translation over diverse language pairs, with a negligible inference slowdown. Our approach only modifies one line of code and can be thus readily incorporated in any implementation.
• Abstract（参考訳）: ビーム検索によるテキスト生成は、幅広いアプリケーションで成功している。 ビーム復号の一般的な実装は、最初はヒューリスティックであり、時間ステップで既に完了したシーケンスのセットを保持し、このセットのサイズがビームサイズに達すると停止する。 我々は,この復号アルゴリズムの簡単な修正である忍耐係数を導入し,停止基準を一般化し,探索深度に柔軟性を提供する。 広範な実験結果から、忍耐因子は、ニューステキスト要約における強い事前学習モデルの復号化性能と、多様な言語ペアに対する機械翻訳性能を向上し、推論の遅さを無視できることが示されている。 このアプローチは1行のコードだけを変更して,任意の実装に簡単に組み込むことができます。

関連論文リスト

• Dynamic-Width Speculative Beam Decoding for Efficient LLM Inference [35.730941605490194]
  大規模言語モデル(LLM)は多くの実世界のタスクで優れたパフォーマンスを示している。 投機的復号化は有望な解決策として現れ、より小さな補助モデルを利用して将来のトークンをドラフトしている。 本稿では,ビームサンプリングによる投機的復号化の新たな統合について検討する。
  論文  参考訳（メタデータ） (2024-09-25T02:20:42Z)
• LRANet: Towards Accurate and Efficient Scene Text Detection with Low-Rank Approximation Network [63.554061288184165]
  低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。 異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。 我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
  論文  参考訳（メタデータ） (2023-06-27T02:03:46Z)
• Improved Beam Search for Hallucination Mitigation in Abstractive Summarization [1.2328446298523066]
  本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。 本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。 提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
  論文  参考訳（メタデータ） (2022-12-06T02:33:47Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Investigating Label Bias in Beam Search for Open-ended Text Generation [8.331919991368366]
  オープンエンドテキスト生成では、ビームサーチはしばしば繰り返しおよびジェネリックテキストを生成する。 標準Seq2seqモデルは、その局所正規化確率の定式化によりラベルバイアスに悩まされる。 局所正規化最大推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、難易度を犠牲にすることなくラベルバイアスを低減できる。
  論文  参考訳（メタデータ） (2020-05-22T05:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。