論文の概要: Making Grid Beam Search Less Greedy

• arxiv url: http://arxiv.org/abs/2609.39368v1
• Date: Wed, 30 Sep 2026 09:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.514034
• Title: Making Grid Beam Search Less Greedy
• Title（参考訳）: グリッドビームサーチの難易度を下げる
• Abstract要約: グリッドビーム探索は、まず、より簡単で満足な制約を組み込むようにバイアスを受けており、シーケンスの最後には厳しい制約が残されていることを示す。 本研究では,このバイアスを回避するため,線形にフォワードパスを何回も必要とせず,グリッドビームサーチを改良したフェアグリッドビームサーチを提案する。
• 参考スコア（独自算出の注目度）: 8.816155454945088
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A common formalism for constraining the output of autoregressive text generation models involves lexical constraints, words or phrases which are required to occur in the generated text. DFA-constrained beam search and grid beam search are two widely used paradigms for decoding from autoregressive models while enforcing lexical constraints. As the former approach requires a number of forward passes exponential in the number of constraint tokens, it is often dispreferred to the latter, which requires only linearly many forward calls. However, while grid beam search achieves an exponential speedup, it does so in a manner which does not treat all of the constraints equally. In this paper, we demonstrate that grid beam search is biased to incorporate easier-to-satisfy constraints first, leaving harder constraints to the end of the sequence. This contrasts with DFA-constrained beam search, which exhibits no such bias. To address this shortcoming, we propose fair grid beam search, a modification to grid beam search which avoids this bias while still requiring only linearly many forward passes. Experimentally, we confirm grid beam search's bias on two constrained generation tasks, finding significant differences in how it orders constraint tokens as compared to DFA-constrained beam search and fair grid beam search. Furthermore, we find that fair grid beam search not only fixes grid beam search's bias, but finds higher-probability strings in the process.
• Abstract（参考訳）: 自己回帰テキスト生成モデルの出力を制約する一般的な形式主義は、生成されたテキストに発生するために必要な語彙的制約、単語またはフレーズを含む。 DFA制約ビームサーチとグリッドビームサーチは、語彙制約を課しながら自己回帰モデルから復号する2つの広く使われているパラダイムである。 前者のアプローチでは、制約トークンの数で指数関数的にフォワードパスが要求されるため、しばしば後者と区別されるが、これは線形に多くのフォワードコールしか必要としない。 しかし、グリッドビーム探索は指数的な高速化を実現する一方で、全ての制約を等しく扱わない方法で行う。 本稿では, グリッドビーム探索が偏り, より容易で満足な制約を先に組み込むことで, 行末に厳しい制約を課すことを示した。 これは、DFA制約ビームサーチとは対照的であり、そのようなバイアスは示さない。 この欠点に対処するために、我々は、線形に多くのフォワードパスしか必要とせず、このバイアスを回避するグリッドビームサーチの修正である、公平なグリッドビームサーチを提案する。 実験により、2つの制約された生成タスクに対するグリッドビーム探索のバイアスを確認し、DFA制約のビームサーチと公正なグリッドビームサーチと比較して、制約トークンの順序に有意な差が認められた。 さらに、公正なグリッドビーム探索は、グリッドビーム探索のバイアスを修正するだけでなく、その過程で高い確率の文字列を見つける。

関連論文リスト

• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。