論文の概要: Context-aware Decoding Reduces Hallucination in Query-focused
Summarization
- arxiv url: http://arxiv.org/abs/2312.14335v2
- Date: Sun, 31 Dec 2023 22:31:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 20:22:47.992923
- Title: Context-aware Decoding Reduces Hallucination in Query-focused
Summarization
- Title(参考訳): 文脈認識デコードによるクエリ中心の要約における幻覚の低減
- Authors: Zhichao Xu
- Abstract要約: 我々は最近提案された1つの復号法である文脈認識復号法(CAD)について大規模な研究を行っている。
8つの異なる言語モデルを用いた実験により、CADは事実性エラー/幻覚を減らすことでQFSの品質を向上させることが示された。
Huggingface Libraryに基づくコード実装が利用可能である。
- 参考スコア(独自算出の注目度): 2.8554857235549753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Query-focused summarization (QFS) aims to provide a summary of a single
document/multi documents that can satisfy the information needs of a given
query. It is useful for various real-world applications, such as abstractive
snippet generation or more recent retrieval augmented generation (RAG). A
prototypical QFS pipeline consists of a retriever (sparse or dense retrieval)
and a generator (usually a large language model). However, applying large
language models (LLM) potentially leads to hallucinations, especially when the
evidence contradicts the prior belief of LLMs. There has been growing interest
in developing new decoding methods to improve generation quality and reduce
hallucination. In this work, we conduct a large-scale reproducibility study on
one recently proposed decoding method -- Context-aware Decoding (CAD). In
addition to replicating CAD's experiments on news summarization datasets, we
include experiments on QFS datasets, and conduct more rigorous analysis on
computational complexity and hyperparameter sensitivity. Experiments with eight
different language models show that performance-wise, CAD improves QFS quality
by (1) reducing factuality errors/hallucinations while (2) mostly retaining the
match of lexical patterns, measured by ROUGE scores, while also at a cost of
increased inference-time FLOPs and reduced decoding speed. The code
implementation based on Huggingface Library is made available
https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs
- Abstract(参考訳): query-focused summarization (qfs) は、与えられたクエリの情報ニーズを満たす単一のドキュメント/マルチドキュメントの要約を提供することを目的としている。
抽象スニペット生成やより最近の検索拡張生成(RAG)など、現実世界の様々なアプリケーションに有用である。
原型的なqfsパイプラインは、レトリバー(疎検索または密検索)とジェネレータ(通常、大きな言語モデル)から構成される。
しかし、大きな言語モデル(LLM)を適用すると、特にその証拠が以前のLLMの信念と矛盾する場合、幻覚につながる可能性がある。
世代品質を改善し幻覚を減少させる新しい復号法の開発に関心が高まっている。
本研究では,最近提案されたデコード手法であるcad(context-aware decoding)について,大規模再現性について検討する。
ニュース要約データセットに関するCADの実験の複製に加えて、QFSデータセットの実験も含み、計算複雑性とハイパーパラメータ感度に関するより厳密な分析を行う。
8つの異なる言語モデルを用いた実験により,CADは(1)事実性エラー/幻覚の低減,(2)ROUGEスコアによる語彙パターンの一致の維持,さらには推論時間FLOPの増大と復号速度の低減によるQFS品質の向上が示された。
Huggingface Libraryに基づくコード実装はhttps://github.com/zhichaoxu-shufe/context-aware-decoding-qfsで利用可能である。
関連論文リスト
- RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - Citation-Enhanced Generation for LLM-based Chatbots [11.973280288131225]
大規模言語モデル(LLM)は多様なシナリオにまたがる強力な汎用知性を示す。
幻覚コンテンツは反応で生成され、適用性が著しく制限される。
提案手法は,検索議論と組み合わせた,ポストホックなCitation-Enhanced Generation手法である。
論文 参考訳(メタデータ) (2024-02-25T11:24:41Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。
ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文 参考訳(メタデータ) (2023-07-13T17:59:21Z) - RLTF: Reinforcement Learning from Unit Test Feedback [17.35361167578498]
Reinforcement Learning from Unit Test Feedback(リンク)は、新しいオンラインRLフレームワークである。
提案手法は,訓練中にリアルタイムにデータを生成し,高精度なフィードバック信号を用いて高品質なコードを生成する。
論文 参考訳(メタデータ) (2023-07-10T05:18:18Z) - A Lightweight Constrained Generation Alternative for Query-focused
Summarization [8.264410236351111]
クエリ中心の要約(QFS)は、あるクエリの必要な情報を満たすドキュメントの要約を提供することを目的としている。
我々は,最近開発された制約付き世代モデルニューロロジカルデコーディング(NLD)を,現在のQFS方式の代替として活用することを提案する。
本稿では,2つの公開QFSコレクションに対するこのアプローチの有効性を,複雑性を著しく低減した最先端モデルとほぼ同等に示す。
論文 参考訳(メタデータ) (2023-04-23T18:43:48Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。