論文の概要: Context-aware Decoding Reduces Hallucination in Query-focused Summarization

• arxiv url: http://arxiv.org/abs/2312.14335v2
• Date: Sun, 31 Dec 2023 22:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-02 20:22:47.992923
• Title: Context-aware Decoding Reduces Hallucination in Query-focused Summarization
• Title（参考訳）: 文脈認識デコードによるクエリ中心の要約における幻覚の低減
• Authors: Zhichao Xu
• Abstract要約: 我々は最近提案された1つの復号法である文脈認識復号法(CAD)について大規模な研究を行っている。 8つの異なる言語モデルを用いた実験により、CADは事実性エラー/幻覚を減らすことでQFSの品質を向上させることが示された。 Huggingface Libraryに基づくコード実装が利用可能である。
• 参考スコア（独自算出の注目度）: 2.8554857235549753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query-focused summarization (QFS) aims to provide a summary of a single document/multi documents that can satisfy the information needs of a given query. It is useful for various real-world applications, such as abstractive snippet generation or more recent retrieval augmented generation (RAG). A prototypical QFS pipeline consists of a retriever (sparse or dense retrieval) and a generator (usually a large language model). However, applying large language models (LLM) potentially leads to hallucinations, especially when the evidence contradicts the prior belief of LLMs. There has been growing interest in developing new decoding methods to improve generation quality and reduce hallucination. In this work, we conduct a large-scale reproducibility study on one recently proposed decoding method -- Context-aware Decoding (CAD). In addition to replicating CAD's experiments on news summarization datasets, we include experiments on QFS datasets, and conduct more rigorous analysis on computational complexity and hyperparameter sensitivity. Experiments with eight different language models show that performance-wise, CAD improves QFS quality by (1) reducing factuality errors/hallucinations while (2) mostly retaining the match of lexical patterns, measured by ROUGE scores, while also at a cost of increased inference-time FLOPs and reduced decoding speed. The code implementation based on Huggingface Library is made available https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs
• Abstract（参考訳）: query-focused summarization (qfs) は、与えられたクエリの情報ニーズを満たす単一のドキュメント/マルチドキュメントの要約を提供することを目的としている。 抽象スニペット生成やより最近の検索拡張生成(RAG)など、現実世界の様々なアプリケーションに有用である。 原型的なqfsパイプラインは、レトリバー(疎検索または密検索)とジェネレータ(通常、大きな言語モデル)から構成される。 しかし、大きな言語モデル(LLM)を適用すると、特にその証拠が以前のLLMの信念と矛盾する場合、幻覚につながる可能性がある。 世代品質を改善し幻覚を減少させる新しい復号法の開発に関心が高まっている。 本研究では,最近提案されたデコード手法であるcad(context-aware decoding)について,大規模再現性について検討する。 ニュース要約データセットに関するCADの実験の複製に加えて、QFSデータセットの実験も含み、計算複雑性とハイパーパラメータ感度に関するより厳密な分析を行う。 8つの異なる言語モデルを用いた実験により,CADは(1)事実性エラー/幻覚の低減,(2)ROUGEスコアによる語彙パターンの一致の維持,さらには推論時間FLOPの増大と復号速度の低減によるQFS品質の向上が示された。 Huggingface Libraryに基づくコード実装はhttps://github.com/zhichaoxu-shufe/context-aware-decoding-qfsで利用可能である。

関連論文リスト

• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• LargePiG: Your Large Language Model is Secretly a Pointer Generator [15.248956952849259]
  本稿では,Large Language Models (LLMs) に基づく問合せ生成による幻覚問題の新しいタイプとして,関連性幻覚と事実性幻覚を導入する。 LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
  論文  参考訳（メタデータ） (2024-10-15T07:41:40Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、機械学習(ML)アプリケーションにおいて重要なコンポーネントである。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、9つのタスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も有望なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• RLTF: Reinforcement Learning from Unit Test Feedback [17.35361167578498]
  Reinforcement Learning from Unit Test Feedback(リンク)は、新しいオンラインRLフレームワークである。 提案手法は,訓練中にリアルタイムにデータを生成し,高精度なフィードバック信号を用いて高品質なコードを生成する。
  論文  参考訳（メタデータ） (2023-07-10T05:18:18Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。