論文の概要: If beam search is the answer, what was the question?

• arxiv url: http://arxiv.org/abs/2010.02650v2
• Date: Sun, 17 Jan 2021 09:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:55:56.301130
• Title: If beam search is the answer, what was the question?
• Title（参考訳）: もしビームサーチが答えなら、質問は何だったのか?
• Authors: Clara Meister, Tim Vieira, Ryan Cotterell
• Abstract要約: ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
• 参考スコア（独自算出の注目度）: 78.71330480725668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quite surprisingly, exact maximum a posteriori (MAP) decoding of neural language generators frequently leads to low-quality results. Rather, most state-of-the-art results on language generation tasks are attained using beam search despite its overwhelmingly high search error rate. This implies that the MAP objective alone does not express the properties we desire in text, which merits the question: if beam search is the answer, what was the question? We frame beam search as the exact solution to a different decoding objective in order to gain insights into why high probability under a model alone may not indicate adequacy. We find that beam search enforces uniform information density in text, a property motivated by cognitive science. We suggest a set of decoding objectives that explicitly enforce this property and find that exact decoding with these objectives alleviates the problems encountered when decoding poorly calibrated language generation models. Additionally, we analyze the text produced using various decoding strategies and see that, in our neural machine translation experiments, the extent to which this property is adhered to strongly correlates with BLEU.
• Abstract（参考訳）: 驚くべきことに、ニューラルネットワークジェネレータの正確な最大値(MAP)復号化は、しばしば低品質な結果をもたらす。 むしろ、言語生成タスクにおける最先端の成果のほとんどは、圧倒的に高い検索エラー率にもかかわらず、ビームサーチによって達成される。 これはMAPの目的だけで私たちが望む性質をテキストで表現していないことを意味しており、ビームサーチが答えであるなら、質問は何だったのか? 異なる復号目的に対する正確な解としてビーム探索をフレーム化することで、モデル単独で高い確率が妥当性を示さない理由についての洞察を得る。 ビームサーチは認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正が不十分な言語生成モデルにおいて発生する問題を緩和する。 さらに,様々なデコーディング戦略を用いて生成されたテキストを分析し,本研究のニューラルマシン翻訳実験において,この特性がbleuと強く相関する程度について検討した。

関連論文リスト

• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Massive-scale Decoding for Text Generation using Lattices [34.2658286826597]
  多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。 我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
  論文  参考訳（メタデータ） (2021-12-14T18:56:11Z)
• Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation [20.76001576262768]
  本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。 また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T14:35:24Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Machine Translation Decoding beyond Beam Search [43.27883368285612]
  ビームサーチは自動回帰機械翻訳モデルの復号化手法である。 我々の目標は、ビームサーチがより強力な計量駆動サーチ技術に置き換えられるかどうかを確かめることである。 モンテカルロ木探索(mcts)に基づく手法を導入し,その競合性を示す。
  論文  参考訳（メタデータ） (2021-04-12T10:28:17Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Investigating Label Bias in Beam Search for Open-ended Text Generation [8.331919991368366]
  オープンエンドテキスト生成では、ビームサーチはしばしば繰り返しおよびジェネリックテキストを生成する。 標準Seq2seqモデルは、その局所正規化確率の定式化によりラベルバイアスに悩まされる。 局所正規化最大推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、難易度を犠牲にすることなくラベルバイアスを低減できる。
  論文  参考訳（メタデータ） (2020-05-22T05:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。