論文の概要: Think While You Write: Hypothesis Verification Promotes Faithful
Knowledge-to-Text Generation
- arxiv url: http://arxiv.org/abs/2311.09467v1
- Date: Thu, 16 Nov 2023 00:13:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:18:22.918308
- Title: Think While You Write: Hypothesis Verification Promotes Faithful
Knowledge-to-Text Generation
- Title(参考訳): 仮説検証は、テキスト生成に忠実な知識を促進する
- Authors: Yifu Qiu, Varun Embar, Shay B. Cohen, Benjamin Han
- Abstract要約: 本稿では,ニューラルネットワークモデルにおける幻覚を軽減するため,TWEAK(Think While Effectively Articulating Knowledge)を提案する。
TWEAKは、デコードステップごとに生成されたシーケンスとその将来のシーケンスを仮説として扱う。
それぞれの世代候補を、対応する仮説が入力事実をどれだけうまくサポートしているかに基づいてランク付けする。
- 参考スコア(独自算出の注目度): 24.939397562144293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural knowledge-to-text generation models often struggle to faithfully
generate descriptions for the input facts: they may produce hallucinations that
contradict the given facts, or describe facts not present in the input. To
reduce hallucinations, we propose a novel decoding method, TWEAK (Think While
Effectively Articulating Knowledge). TWEAK treats the generated sequences at
each decoding step and its future sequences as hypotheses, and ranks each
generation candidate based on how well their corresponding hypotheses support
the input facts using a Hypothesis Verification Model (HVM). We first
demonstrate the effectiveness of TWEAK by using a Natural Language Inference
(NLI) model as the HVM and report improved faithfulness with minimal impact on
the quality. We then replace the NLI model with our task-specific HVM trained
with a first-of-a-kind dataset, FATE (Fact-Aligned Textual Entailment), which
pairs input facts with their faithful and hallucinated descriptions with the
hallucinated spans marked. The new HVM improves the faithfulness and the
quality further and runs faster. Overall the best TWEAK variants improve on
average 2.22/7.17 points on faithfulness measured by FactKB over WebNLG and
TekGen/GenWiki, respectively, with only 0.14/0.32 points degradation on quality
measured by BERTScore over the same datasets. Since TWEAK is a decoding-only
approach, it can be integrated with any neural generative model without
retraining.
- Abstract(参考訳): ニューラル・ナレッジ・トゥ・テキスト生成モデルは、しばしば入力された事実に関する記述を忠実に生成するのに苦労する:それらは与えられた事実に矛盾する幻覚を生成するか、入力に存在しない事実を記述する。
幻覚を減らすために,新しい復号法TWEAK(Think While Effectively Articulating Knowledge)を提案する。
TWEAKは、各デコードステップとその将来のシーケンスで生成されたシーケンスを仮説として扱い、対応する仮説が仮説検証モデル(HVM)を用いて入力事実をどのようにうまくサポートしているかに基づいて、各生成候補をランク付けする。
まず,自然言語推論(nli)モデルをhvmとして使用することにより,調整の有効性を実証し,品質への影響を最小限に抑えながら忠実性の向上を報告した。
次に、NLIモデルを、第一種データセットであるFATE(Fact-Aligned Textual Entailment)で訓練されたタスク固有のHVMに置き換える。
新しいHVMは、忠実さと品質をさらに改善し、より速く動作する。
全体としては、webnlg と tekgen/genwiki 上で factkb が測定した忠実性が平均 2.22/7.17 ポイント向上し、同じデータセット上で bertscore が測定した品質が 0.14/0.32 ポイント低下した。
TWEAKはデコードのみのアプローチであるため、再トレーニングなしに任意の神経生成モデルと統合することができる。
関連論文リスト
- Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - LeTI: Learning to Generate from Textual Interactions [59.79240825328176]
本稿では,テキストインタラクション(LeTI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックによって出力中のエラーをピンポイントし,説明する。
本研究は,自然言語命令に応答してコード片を生成するコード生成タスクに焦点をあてる。
LeTIは、LMの目的を用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいてモデルを反復的に微調整する。
論文 参考訳(メタデータ) (2023-05-17T15:53:31Z) - UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data
Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。
公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文 参考訳(メタデータ) (2023-03-02T12:18:53Z) - Sketch and Refine: Towards Faithful and Informative Table-to-Text
Generation [58.320248632121476]
自己回帰世代と非自己回帰世代(SANA)を組み合わせた新しい2段階法を提案する。
提案手法は,(1)ソーステーブルからキートークンを選択するための自己回帰ポインタネットワークを用いた骨格生成,(2)反復挿入と削除操作によるテキスト生成のための編集ベースの非自己回帰生成モデルを含む。
骨格から厳しい制約を統合することで、非自己回帰モデルはソーステーブル上の生成のカバレッジを改善し、その忠実性を高める。
論文 参考訳(メタデータ) (2021-05-31T08:18:13Z) - Controlling Hallucinations at Word Level in Data-to-Text Generation [10.59137381324694]
最先端のニューラルモデルには、アウトプットに誤解を招くステートメントが含まれている。
本稿では,単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。
我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
論文 参考訳(メタデータ) (2021-02-04T18:58:28Z) - Decoding Methods for Neural Narrative Generation [74.37264021226308]
ナラティブ生成(英: Narrative generation)とは、モデルがプロンプトを与えられたストーリーを生成するオープンエンドのNLPタスクである。
ニューラル・ナラティブ・ジェネレーションに対するニューラル・レスポンス・ジェネレーションのためのデコード手法の適用と評価を行った。
論文 参考訳(メタデータ) (2020-10-14T19:32:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。