論文の概要: Entropy-Based Decoding for Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17519v1
• Date: Tue, 25 Jun 2024 12:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 14:32:18.392277
• Title: Entropy-Based Decoding for Retrieval-Augmented Large Language Models
• Title（参考訳）: 検索型大規模言語モデルのエントロピーに基づく復号化
• Authors: Zexuan Qiu, Zijing Ou, Bin Wu, Jingjing Li, Aiwei Liu, Irwin King,
• Abstract要約: 外部知識を抽出した大規模言語モデルの拡張は、生成した応答の事実的正確性を改善するのに有効であることが証明されている。 本稿では,この問題を緩和するために,エントロピーを考慮した新しい学習自由復号法を提案する。
• 参考スコア（独自算出の注目度）: 43.93281157539377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting Large Language Models (LLMs) with retrieved external knowledge has proven effective for improving the factual accuracy of generated responses. Despite their success, retrieval-augmented LLMs still face the distractibility issue, where the generated responses are negatively influenced by noise from both external and internal knowledge sources. In this paper, we introduce a novel, training-free decoding method guided by entropy considerations to mitigate this issue. Our approach utilizes entropy-based document-parallel ensemble decoding to prioritize low-entropy distributions from retrieved documents, thereby enhancing the extraction of relevant information of context. Additionally, it incorporates a contrastive decoding mechanism that contrasts the obtained low-entropy ensemble distribution with the high-entropy distribution derived from the model's internal knowledge across layers, which ensures a greater emphasis on reliable external information. Extensive experiments on open-domain question answering datasets demonstrate the superiority of our method.
• Abstract（参考訳）: 外部知識を抽出したLarge Language Models (LLM) の拡張は、生成した応答の事実的正確性を改善するのに有効であることが証明されている。 その成功にもかかわらず、検索強化LDMは、外部と内部の両方の知識源からのノイズによって生成された応答が負の影響を受けるという、散逸性の問題に直面している。 本稿では,この問題を緩和するために,エントロピーを考慮した学習自由復号法を提案する。 提案手法では,エントロピーに基づく文書並列アンサンブル復号法を用いて,検索した文書から低エントロピー分布を優先し,関連するコンテキスト情報の抽出を強化する。 さらに、得られた低エントロピーアンサンブル分布と、モデルの内部知識から層間における高エントロピー分布とを対比するコントラッシブデコーディング機構を導入し、信頼性の高い外部情報に重点を置いている。 オープンドメイン質問応答データセットの大規模な実験により,本手法の優位性が示された。

関連論文リスト

• Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry [4.659427498118277]
  再建過程にエピポーラ情報を組み込んだ新しい手法であるEpiSを提案する。 提案手法は,コストボリュームから複数のソースビューから抽出したエピポーラ特徴に粗い情報を集約する。 スパース条件における情報ギャップに対処するため,グローバルおよび局所正規化手法を用いて単眼深度推定から深度情報を統合する。
  論文  参考訳（メタデータ） (2024-06-06T17:47:48Z)
• Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation [17.156915103545728]
  大規模言語モデル(LLM)は情報取得に大きく貢献している。 Retrieval Augmented Generation (RAG)は、外部の非パラメトリック知識を取り入れることで、この制限に対処する。 本稿では,抽象表現(AMR)に基づく概念蒸留アルゴリズムを用いた新しい概念ベースRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-06T00:18:43Z)
• REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
  我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。 提案手法は,幅広い推定課題にまたがる改善を実証する。 自然に情報理論による教師あり学習モデルに拡張することができる。
  論文  参考訳（メタデータ） (2024-02-08T14:47:37Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Causality-Aware Local Interpretable Model-Agnostic Explanations [7.412445894287709]
  本稿では,インスタンスを取り巻くデータ内の明確な因果関係をエンコードする,広く使われている局所的およびモデルに依存しない説明器の拡張を提案する。 提案手法は,ブラックボックスモデルのメカニズムと生成した説明の一貫性と信頼性を忠実に再現する上で,元の手法を克服する。
  論文  参考訳（メタデータ） (2022-12-10T10:12:27Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning [66.83982926437547]
  我々は,DocREが現実のシナリオにおいて,長期分布問題の緩和に不可欠であると主張する。 長期分布問題に動機付けられ,DocREを改善するための簡易関係拡張法(ERA)を提案する。
  論文  参考訳（メタデータ） (2022-05-21T06:15:11Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。