論文の概要: Think While You Write: Hypothesis Verification Promotes Faithful Knowledge-to-Text Generation

• arxiv url: http://arxiv.org/abs/2311.09467v1
• Date: Thu, 16 Nov 2023 00:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 17:18:22.918308
• Title: Think While You Write: Hypothesis Verification Promotes Faithful Knowledge-to-Text Generation
• Title（参考訳）: 仮説検証は、テキスト生成に忠実な知識を促進する
• Authors: Yifu Qiu, Varun Embar, Shay B. Cohen, Benjamin Han
• Abstract要約: 本稿では,ニューラルネットワークモデルにおける幻覚を軽減するため,TWEAK(Think While Effectively Articulating Knowledge)を提案する。 TWEAKは、デコードステップごとに生成されたシーケンスとその将来のシーケンスを仮説として扱う。 それぞれの世代候補を、対応する仮説が入力事実をどれだけうまくサポートしているかに基づいてランク付けする。
• 参考スコア（独自算出の注目度）: 24.939397562144293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural knowledge-to-text generation models often struggle to faithfully generate descriptions for the input facts: they may produce hallucinations that contradict the given facts, or describe facts not present in the input. To reduce hallucinations, we propose a novel decoding method, TWEAK (Think While Effectively Articulating Knowledge). TWEAK treats the generated sequences at each decoding step and its future sequences as hypotheses, and ranks each generation candidate based on how well their corresponding hypotheses support the input facts using a Hypothesis Verification Model (HVM). We first demonstrate the effectiveness of TWEAK by using a Natural Language Inference (NLI) model as the HVM and report improved faithfulness with minimal impact on the quality. We then replace the NLI model with our task-specific HVM trained with a first-of-a-kind dataset, FATE (Fact-Aligned Textual Entailment), which pairs input facts with their faithful and hallucinated descriptions with the hallucinated spans marked. The new HVM improves the faithfulness and the quality further and runs faster. Overall the best TWEAK variants improve on average 2.22/7.17 points on faithfulness measured by FactKB over WebNLG and TekGen/GenWiki, respectively, with only 0.14/0.32 points degradation on quality measured by BERTScore over the same datasets. Since TWEAK is a decoding-only approach, it can be integrated with any neural generative model without retraining.
• Abstract（参考訳）: ニューラル・ナレッジ・トゥ・テキスト生成モデルは、しばしば入力された事実に関する記述を忠実に生成するのに苦労する:それらは与えられた事実に矛盾する幻覚を生成するか、入力に存在しない事実を記述する。 幻覚を減らすために,新しい復号法TWEAK(Think While Effectively Articulating Knowledge)を提案する。 TWEAKは、各デコードステップとその将来のシーケンスで生成されたシーケンスを仮説として扱い、対応する仮説が仮説検証モデル(HVM)を用いて入力事実をどのようにうまくサポートしているかに基づいて、各生成候補をランク付けする。 まず,自然言語推論(nli)モデルをhvmとして使用することにより,調整の有効性を実証し,品質への影響を最小限に抑えながら忠実性の向上を報告した。 次に、NLIモデルを、第一種データセットであるFATE(Fact-Aligned Textual Entailment)で訓練されたタスク固有のHVMに置き換える。 新しいHVMは、忠実さと品質をさらに改善し、より速く動作する。 全体としては、webnlg と tekgen/genwiki 上で factkb が測定した忠実性が平均 2.22/7.17 ポイント向上し、同じデータセット上で bertscore が測定した品質が 0.14/0.32 ポイント低下した。 TWEAKはデコードのみのアプローチであるため、再トレーニングなしに任意の神経生成モデルと統合することができる。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning [40.5830891229718]
  本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。 様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T08:04:36Z)
• Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
  本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。 我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-10-04T19:52:09Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。