論文の概要: Think While You Write: Hypothesis Verification Promotes Faithful Knowledge-to-Text Generation
- arxiv url: http://arxiv.org/abs/2311.09467v2
- Date: Wed, 3 Apr 2024 17:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 22:56:57.410943
- Title: Think While You Write: Hypothesis Verification Promotes Faithful Knowledge-to-Text Generation
- Title（参考訳）: 文章を書くとき:仮説検証は、忠実な知識からテキスト生成を促進する
- Authors: Yifu Qiu, Varun Embar, Shay B. Cohen, Benjamin Han,
- Abstract要約: 知識からテキストへのジェネレータは、しばしば入力された事実に関する記述を忠実に生成するのに苦労する。
幻覚を抑えるため,任意のジェネレータと組み込むことができるTWEAK(Think While Effectively Articulating Knowledge)を提案する。
TWEAKは、各デコードステップとその将来のシーケンスで生成されたシーケンスを仮説として扱い、それらの仮説が入力事実によって支持される範囲に基づいて、各生成候補をランク付けする。
- 参考スコア（独自算出の注目度）: 22.82932504317911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-to-text generators often struggle to faithfully generate descriptions for the input facts: they may produce hallucinations that contradict the input, or describe facts not present in the input. To reduce hallucinations, we propose a decoding-only method, TWEAK (Think While Effectively Articulating Knowledge), which can be integrated with any generator without retraining. TWEAK treats the generated sequences at each decoding step and its future sequences as hypotheses, and ranks each generation candidate based on the extent to which their hypotheses are supported by the input facts using a Hypothesis Verification Model (HVM). We first demonstrate the effectiveness of TWEAK by using a Natural Language Inference (NLI) model as the HVM and report improved faithfulness with a minimal impact on the quality. We then replace the NLI model with a task-specific HVM trained with a first-of-a-kind dataset, FATE (Fact-Aligned Textual Entailment), which pairs input facts with their original and perturbed descriptions. We test TWEAK with two generators, and the best TWEAK variants improve on average for the two models by 2.24/7.17 points in faithfulness (FactKB) in in/out-of-distribution evaluations, respectively, and with only a 0.14/0.32-point decline in quality (BERTScore).
- Abstract（参考訳）: 知識からテキストへのジェネレータは入力された事実の記述を忠実に生成するのに苦労することが多く、入力に矛盾する幻覚や、入力に存在しない事実を記述できる。
幻覚を抑えるために,復号法であるTWEAK(Think While Effectively Articulating Knowledge)を提案する。
TWEAKは、各復号ステップとその将来のシーケンスを仮説として扱い、仮説検証モデル(HVM)を用いて、それらの仮説が入力事実によって支持される程度に基づいて、各世代候補をランク付けする。
まず、HVMとして自然言語推論(NLI)モデルを用いてTWEAKの有効性を実証し、品質への影響を最小限に抑えて忠実性の向上を報告した。
次に、NLIモデルを、入力事実と原文と摂動記述をペアリングする、第一種データセットであるFATE(Fact-Aligned Textual Entailment)で訓練されたタスク固有のHVMに置き換える。
2つのジェネレータでTWEAKを試験し、2つのモデルの平均TWEAK変種を2.24/7.17ポイントの忠実度(FactKB)でそれぞれ改善し、品質が0.14/0.32ポイント低下した(BERTScore)。
関連論文リスト
- Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。
そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - WeCheck: Strong Factual Consistency Checker via Weakly Supervised
Learning [40.5830891229718]
本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。
様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
論文 参考訳（メタデータ） (2022-12-20T08:04:36Z) - Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。
我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
論文 参考訳（メタデータ） (2022-10-04T19:52:09Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。