論文の概要: Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2412.14905v1
• Date: Thu, 19 Dec 2024 14:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:17.087184
• Title: Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation
• Title（参考訳）: Retrieval-Augmented Generationのための並列コンテキスト拡張のデハロシン化
• Authors: Zexiong Ma, Shengnan An, Zeqi Lin, Yanzhen Zou, Jian-Guang Lou, Bing Xie,
• Abstract要約: 大規模言語モデル(LLM)は、検索強化世代(RAG)の統合にもかかわらず、幻覚情報を生成することができる 本稿では,文脈認識型ネガティブトレーニングと情報校正アグリゲーションによる幻覚問題を緩和するDePaCを提案する。
• 参考スコア（独自算出の注目度）: 42.76770979205655
• License:
• Abstract: Large language models (LLMs) are susceptible to generating hallucinated information, despite the integration of retrieval-augmented generation (RAG). Parallel context extension (PCE) is a line of research attempting to effectively integrating parallel (unordered) contexts, while it still suffers from hallucinations when adapted to RAG scenarios. In this paper, we propose DePaC (Dehallucinating Parallel Context Extension), which alleviates the hallucination problem with context-aware negative training and information-calibrated aggregation. DePaC is designed to alleviate two types of in-context hallucination: fact fabrication (i.e., LLMs present claims that are not supported by the contexts) and fact omission (i.e., LLMs fail to present claims that can be supported by the contexts). Specifically, (1) for fact fabrication, we apply the context-aware negative training that fine-tunes the LLMs with negative supervisions, thus explicitly guiding the LLMs to refuse to answer when contexts are not related to questions; (2) for fact omission, we propose the information-calibrated aggregation which prioritizes context windows with higher information increment from their contexts. The experimental results on nine RAG tasks demonstrate that DePaC significantly alleviates the two types of hallucination and consistently achieves better performances on these tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、検索強化世代(RAG)の統合にもかかわらず、幻覚情報を生成することができる。 並列コンテキスト拡張(英: Parallel context extension, PCE)は、並列コンテキストを効果的に統合しようとする研究のシリーズである。 本稿では,デパC(Dehallucinating Parallel Context Extension)を提案する。 DePaCは、文脈内幻覚の2つのタイプを緩和するように設計されている: 事実生成(LLMは文脈でサポートされていない主張を提示する)と事実欠落(LLMは文脈でサポートできる主張を提示しない)である。 具体的には,(1) 事実作成において, LLM を否定的な監督で微調整する文脈認識型負のトレーニングを適用し,(2) 文脈に関連がない場合に LLM に対して回答を拒否するよう明示的に指示すること,(2) 事実削除では,文脈から高次情報に優先順位付けした文脈ウィンドウを優先する情報調整アグリゲーションを提案する。 9つのRAGタスクに対する実験結果から、DePaCは2種類の幻覚を著しく軽減し、これらのタスクにおけるより良いパフォーマンスを継続的に達成することを示した。

関連論文リスト

• Trustful LLMs: Customizing and Grounding Text Generation with Knowledge Bases and Dual Decoders [5.929519489554968]
  本稿では,RAGコンテキストにおける知識三重項を利用して幻覚を補正する後処理アルゴリズムを提案する。 また、RAGコンテキストを融合して生成プロセスを導出するデュアルデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:26:17Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Pelican: Correcting Hallucination in Vision-LLMs via Claim Decomposition and Program of Thought Verification [13.081342795985003]
  Pelicanは、クレーム検証を通じて幻覚を検出し緩和するために設計されたフレームワークである。 実験の結果,MMHal-Benchの幻覚緩和法と比較して,幻覚率8%～32%低下し,27%低下した。
  論文  参考訳（メタデータ） (2024-07-02T15:17:44Z)
• RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots [6.893551641325889]
  ChatGPTの幻覚(もっともらしいが偽の情報を生み出す)は大きな課題となる。 本稿では、外部知識をプロンプトと統合することにより、検索・拡張生成が幻覚にどのように対処できるかを考察する。 以上の結果から,RAGの精度は向上するが,事前学習されたモデル理解と直接矛盾する場合は,まだ誤解が残る可能性がある。
  論文  参考訳（メタデータ） (2024-03-02T12:19:04Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
  そこで我々はMixCLという対照的な学習手法を提案する。 LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。 我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-12-20T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。