論文の概要: Investigating Label Bias in Beam Search for Open-ended Text Generation

• arxiv url: http://arxiv.org/abs/2005.11009v1
• Date: Fri, 22 May 2020 05:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 09:07:41.476876
• Title: Investigating Label Bias in Beam Search for Open-ended Text Generation
• Title（参考訳）: オープンエンドテキスト生成のためのビーム探索におけるラベルバイアスの検討
• Authors: Liang Wang, Jinlong Liu, Jingming Liu
• Abstract要約: オープンエンドテキスト生成では、ビームサーチはしばしば繰り返しおよびジェネリックテキストを生成する。 標準Seq2seqモデルは、その局所正規化確率の定式化によりラベルバイアスに悩まされる。 局所正規化最大推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、難易度を犠牲にすることなくラベルバイアスを低減できる。
• 参考スコア（独自算出の注目度）: 8.331919991368366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beam search is an effective and widely used decoding algorithm in many sequence-to-sequence (seq2seq) text generation tasks. However, in open-ended text generation, beam search is often found to produce repetitive and generic texts, sampling-based decoding algorithms like top-k sampling and nucleus sampling are more preferred. Standard seq2seq models suffer from label bias due to its locally normalized probability formulation. This paper provides a series of empirical evidence that label bias is a major reason for such degenerate behaviors of beam search. By combining locally normalized maximum likelihood estimation and globally normalized sequence-level training, label bias can be reduced with almost no sacrifice in perplexity. To quantitatively measure label bias, we test the model's ability to discriminate the groundtruth text and a set of context-agnostic distractors. We conduct experiments on large-scale response generation datasets. Results show that beam search can produce more diverse and meaningful texts with our approach, in terms of both automatic and human evaluation metrics. Our analysis also suggests several future working directions towards the grand challenge of open-ended text generation.
• Abstract（参考訳）: ビーム探索は、多くのシーケンシャル・ツー・シークエンス(seq2seq)テキスト生成タスクにおいて有効かつ広く使用される復号アルゴリズムである。 しかし、オープンエンドテキスト生成では、ビームサーチが繰り返しおよびジェネリックテキストを生成することがしばしば見出され、トップクサンプリングや核サンプリングのようなサンプリングベースの復号アルゴリズムの方が好まれる。 標準seq2seqモデルは、局所正規化確率定式化のためにラベルバイアスを被る。 本稿では,ビームサーチの退化挙動の主要な理由として,ラベルバイアスが有効であることを示す。 局所正規化最大確率推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、ラベルバイアスをほとんど犠牲にすることなく低減することができる。 ラベルバイアスを定量的に測定するために, モデルによる基幹テキストと文脈に不注意な一組を識別する能力をテストする。 大規模応答生成データセットの実験を行う。 その結果,ビームサーチは,自動評価指標と人的評価指標の両方の観点から,より多様で意味のあるテキストを生成することができることがわかった。 また,オープンエンドテキスト生成という大きな課題に向けて,今後の作業方向も示唆した。

関連論文リスト

• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Hard Nominal Example-aware Template Mutual Matching for Industrial Anomaly Detection [74.9262846410559]
  textbfHard Nominal textbfExample-aware textbfTemplate textbfMutual textbfMatching (HETMM) textitHETMMは、厳密なプロトタイプベースの決定境界を構築することを目的としており、ハードノミナルな例と異常を正確に区別することができる。
  論文  参考訳（メタデータ） (2023-03-28T17:54:56Z)
• Challenges in Measuring Bias via Open-Ended Language Generation [1.5552869983952944]
  我々は、プロンプトセット、メトリクス、自動ツール、サンプリング戦略の特定の選択がバイアス結果にどのように影響するかを分析する。 オープンな言語生成におけるバイアスを報告するためのレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2022-05-23T19:57:15Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Massive-scale Decoding for Text Generation using Lattices [34.2658286826597]
  多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。 我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
  論文  参考訳（メタデータ） (2021-12-14T18:56:11Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation [50.55448707570669]
  本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。 このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
  論文  参考訳（メタデータ） (2021-04-18T04:09:48Z)
• Controlling Hallucinations at Word Level in Data-to-Text Generation [10.59137381324694]
  最先端のニューラルモデルには、アウトプットに誤解を招くステートメントが含まれている。 本稿では,単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。 我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
  論文  参考訳（メタデータ） (2021-02-04T18:58:28Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity [22.15683400807154]
  我々は、トップk、トップp、温度サンプリングにおけるパープレキシティの理論解析を用いて、フィードバックに基づく適応的なトップkテキスト復号アルゴリズムであるミロスタットを設計する。 実験により、トップkおよびトップpサンプリングにおけるkとpの低い値に対して、パープレキシティは生成したテキストの長さとともに著しく低下することが示された。 k と p の大きな値の場合、テキスト長の生成とともにパープレキシティが増加し、テキストの不整合と相関する。
  論文  参考訳（メタデータ） (2020-07-29T17:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。