論文の概要: Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs
- arxiv url: http://arxiv.org/abs/2310.19347v3
- Date: Tue, 14 Nov 2023 06:55:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:47:13.068722
- Title: Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs
- Title(参考訳): LLMの理解と実装能力の相違によるテキスト要約の現実的整合性の改善
- Authors: Huawen Feng, Yan Fan, Xiong Liu, Ting-En Lin, Zekun Yao, Yuchuan Wu,
Fei Huang, Yongbin Li, Qianli Ma
- Abstract要約: 大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
- 参考スコア(独自算出の注目度): 67.56087611675606
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the recent progress in text summarization made by large language
models (LLMs), they often generate summaries that are factually inconsistent
with original articles, known as "hallucinations" in text generation. Unlike
previous small models (e.g., BART, T5), current LLMs make fewer silly mistakes
but more sophisticated ones, such as imposing cause and effect, adding false
details, overgeneralizing, etc. These hallucinations are challenging to detect
through traditional methods, which poses great challenges for improving the
factual consistency of text summarization. In this paper, we propose an
adversarially DEcoupling method to disentangle the Comprehension and
EmbellishmeNT abilities of LLMs (DECENT). Furthermore, we adopt a probing-based
efficient training to cover the shortage of sensitivity for true and false in
the training process of LLMs. In this way, LLMs are less confused about
embellishing and understanding; thus, they can execute the instructions more
accurately and have enhanced abilities to distinguish hallucinations.
Experimental results show that DECENT significantly improves the reliability of
text summarization based on LLMs.
- Abstract(参考訳): 大規模言語モデル(llm)によるテキスト要約の最近の進歩にもかかわらず、それらはテキスト生成において「幻覚」として知られる元の記事と事実上矛盾する要約を生成することが多い。
従来の小さなモデル(例えばBART、T5)とは異なり、現在のLLMは愚かなミスを少なくするが、原因や効果を示唆する、誤った詳細を追加する、過度に一般化するなど、より洗練されたものを作る。
これらの幻覚は従来の手法による検出が困難であり、テキスト要約の事実整合性を改善する上で大きな課題となる。
本稿では,LLM(DECENT)の包括的・包括的NT能力を阻害する逆デカップリング手法を提案する。
さらに, LLMの学習過程において, 真偽に対する感度の不足を補うために, 探索に基づく効率的な訓練を取り入れた。
このように、LLMは実装や理解について混乱しにくく、より正確に命令を実行でき、幻覚を識別する能力を高めることができる。
実験の結果, llmsに基づくテキスト要約の信頼性が有意に向上した。
関連論文リスト
- From Noise to Clarity: Unraveling the Adversarial Suffix of Large
Language Model Attacks via Translation of Text Embeddings [64.26248561154509]
近年の研究では、有害な指示に接尾辞を付けることで、LSMの防御をハックできることが判明している。
本稿では,非可読な逆接尾辞をコヒーレントかつ可読なテキストに翻訳可能な逆接尾辞埋め込み翻訳フレームワーク(ASETF)を提案する。
論文 参考訳(メタデータ) (2024-02-25T06:46:27Z) - An LLM-Enhanced Adversarial Editing System for Lexical Simplification [11.286130143695772]
Lexical Simplificationは、語彙レベルでのテキストの簡略化を目的としている。
既存のメソッドはアノテーション付きデータに大きく依存している。
並列コーパスのない新しいLS法を提案する。
論文 参考訳(メタデータ) (2024-02-22T17:04:30Z) - Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully [12.028379771171947]
本稿では,大規模言語モデルのより真に復号化を支援するための推論時間法,Self-Highlighted Hesitation (SH2)を提案する。
実験の結果,我々のSH2は,LLMが事実知識を抽出し,幻覚的文脈を識別するのに役立つことが示された。
論文 参考訳(メタデータ) (2024-01-11T14:09:09Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Don't Believe Everything You Read: Enhancing Summarization
Interpretability through Automatic Identification of Hallucinations in Large
Language Models [0.0]
本稿では,幻覚に対するLarge Language Models (LLM) の振る舞いを深く掘り下げる。
異なる種類の幻覚を識別するためのトークンレベルのアプローチを定義し、さらにトークンレベルのタグ付けを活用してLLMの解釈可能性と忠実性を改善する。
論文 参考訳(メタデータ) (2023-12-22T00:31:46Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。