論文の概要: Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation

• arxiv url: http://arxiv.org/abs/2310.16964v1
• Date: Wed, 25 Oct 2023 20:05:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:36:48.863363
• Title: Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation
• Title（参考訳）: データ-テキスト生成における幻覚の緩和のための批判駆動復号法
• Authors: Mateusz Lango and Ond\v{r}ej Du\v{s}ek
• Abstract要約: 入力に埋もれていないテキストの幻覚は、ニューラルネットワークによるテキスト生成においてよく知られた問題である。 生成言語モデルの確率的出力と特別な「テキスト評論家」の出力を組み合わせることで幻覚を緩和する新しい方法を提案する。 本手法では,LMのアーキテクチャやトレーニング手順の変更は不要である。
• 参考スコア（独自算出の注目度）: 5.304395026626743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination of text ungrounded in the input is a well-known problem in neural data-to-text generation. Many methods have been proposed to mitigate it, but they typically require altering model architecture or collecting additional data, and thus cannot be easily applied to an existing model. In this paper, we explore a new way to mitigate hallucinations by combining the probabilistic output of a generator language model (LM) with the output of a special "text critic" classifier, which guides the generation by assessing the match between the input data and the text generated so far. Our method does not need any changes to the underlying LM's architecture or training procedure and can thus be combined with any model and decoding operating on word probabilities. The critic does not need any additional training data, using the base LM's training data and synthetic negative examples. Our experimental results show that our method improves over the baseline on the WebNLG and OpenDialKG benchmarks.
• Abstract（参考訳）: 入力に根拠のないテキストの幻覚は、ニューラルデータからテキストへの生成においてよく知られた問題である。 多くの方法が提案されているが、通常はモデルアーキテクチャの変更や追加データ収集が必要であり、既存のモデルに簡単に適用することはできない。 本稿では,生成言語モデル(LM)の確率的出力と,入力データとこれまで生成したテキストとの一致を評価して生成を誘導する特別な「テキスト批評家」分類器の出力を組み合わせることで,幻覚を緩和する新たな方法を検討する。 提案手法は,基礎となるLMのアーキテクチャやトレーニング手順の変更を一切必要とせず,任意のモデルと組み合わせて,単語の確率で操作できる。 批判者は、LMのトレーニングデータと合成ネガティブな例を使用して、追加のトレーニングデータを必要としない。 実験の結果,WebNLG と OpenDialKG ベンチマークのベースラインを改良した。

関連論文リスト

• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [39.37532848489779]
  本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T01:30:27Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning [14.637303913878435]
  低リソースシナリオ下でMGTを検出するために,コヒーレンスに基づくコントラスト学習モデルCoCoを提案する。 言語的特徴を活用するために,グラフ形式でコヒーレンス情報をテキスト表現にエンコードする。 2つの公開データセットと2つの自己構築データセットの実験結果は、我々のアプローチが最先端の手法を大幅に上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-12-20T15:26:19Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Understanding Model Robustness to User-generated Noisy Texts [2.958690090551675]
  NLPでは、スペルエラーなどの自然発生ノイズによってモデル性能が劣化することが多い。 本稿では,文法的誤り訂正コーパスから統計的に誤りをモデル化する。
  論文  参考訳（メタデータ） (2021-10-14T14:54:52Z)
• A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation [50.55448707570669]
  本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。 このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
  論文  参考訳（メタデータ） (2021-04-18T04:09:48Z)
• Controlling Hallucinations at Word Level in Data-to-Text Generation [10.59137381324694]
  最先端のニューラルモデルには、アウトプットに誤解を招くステートメントが含まれている。 本稿では,単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。 我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
  論文  参考訳（メタデータ） (2021-02-04T18:58:28Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Controlled Hallucinations: Learning to Generate Faithfully from Noisy Data [1.0914300987810126]
  本稿では,このような幻覚を生成テキストの制御可能な側面として扱う手法を提案する。 特にノイズの多いデータセットであるWikiBio corpusでは,自動評価と人的評価の両方において,この手法の有効性を実証している。
  論文  参考訳（メタデータ） (2020-10-12T17:25:02Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。