論文の概要: Parameters vs. Context: Fine-Grained Control of Knowledge Reliance in Language Models

• arxiv url: http://arxiv.org/abs/2503.15888v1
• Date: Thu, 20 Mar 2025 06:26:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:53.637085
• Title: Parameters vs. Context: Fine-Grained Control of Knowledge Reliance in Language Models
• Title（参考訳）: パラメータ対文脈:言語モデルにおける知識信頼の微粒化制御
• Authors: Baolong Bi, Shenghua Liu, Yiwei Wang, Yilong Xu, Junfeng Fang, Lingrui Mei, Xueqi Cheng,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)における幻覚を緩和する。 パラメトリック知識と検索コンテキストの対立は、RAGに課題をもたらす。 パラメトリックおよび文脈知識へのRAGの依存度を制御するためのプラグイン・アンド・プレイ方式である*CK-PLUG*を提案する。
• 参考スコア（独自算出の注目度）: 39.73834207174728
• License:
• Abstract: Retrieval-Augmented Generation (RAG) mitigates hallucinations in Large Language Models (LLMs) by integrating external knowledge. However, conflicts between parametric knowledge and retrieved context pose challenges, particularly when retrieved information is unreliable or the model's internal knowledge is outdated. In such cases, LLMs struggle to determine whether to rely more on their own parameters or the conflicted context. To address this, we propose **CK-PLUG**, a plug-and-play method for controlling LLMs' reliance on parametric and contextual knowledge. We introduce a novel knowledge consistency metric, Confidence Gain, which detects knowledge conflicts by measuring entropy shifts in token probability distributions after context insertion. CK-PLUG then enables fine-grained control over knowledge preference by adjusting the probability distribution of tokens with negative confidence gain through a single tuning parameter. Experiments demonstrate CK-PLUG's ability to significantly regulate knowledge reliance in counterfactual RAG scenarios while maintaining generation fluency and knowledge accuracy. For instance, on Llama3-8B, memory recall (MR) of RAG response can be adjusted within a broad range (9.9%-71.9%), compared to the baseline of 42.1%. Moreover, CK-PLUG supports adaptive control based on the model's confidence in both internal and external knowledge, achieving consistent performance improvements across various general RAG tasks. Our code is available at: $\href{https://github.com/byronBBL/CK-PLUG}{\text{this https URL}}$.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)における幻覚を緩和する。 しかし、パラメトリック知識と検索されたコンテキストの間の対立は、特に検索された情報が信頼できない場合や、モデルの内部知識が時代遅れである場合、課題を引き起こす。 そのような場合、LLMは自身のパラメータやコンフリクトされたコンテキストに依存するかどうかを決定するのに苦労する。 そこで本稿では,LLMのパラメトリックおよびコンテキスト知識への依存度を制御するためのプラグイン・アンド・プレイ方式である*CK-PLUG*を提案する。 本稿では,コンテキスト挿入後のトークン確率分布のエントロピーシフトを測定することで,知識の衝突を検出する新しい知識整合度尺度であるConfidence Gainを紹介する。 CK-PLUGは、単一チューニングパラメータによって負の信頼率を持つトークンの確率分布を調整することにより、知識嗜好のきめ細かい制御を可能にする。 CK-PLUGは、生成流速と知識の精度を維持しつつ、対実的なRAGシナリオにおける知識依存を著しく制御する能力を示す実験である。 例えば、Llama3-8Bでは、RAG応答のメモリリコール(MR)は、ベースライン42.1%と比較して、広い範囲(9.9%-71.9%)で調整できる。 さらに、CK-PLUGはモデルの内部知識と外部知識の両方に対する信頼度に基づいて適応制御をサポートし、様々なRAGタスクに対して一貫した性能改善を実現する。 私たちのコードは以下の通りである。 $\href{https://github.com/byronBBL/CK-PLUG}{\text{this https URL}}$

関連論文リスト

• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
  現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。 本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。 さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
  論文  参考訳（メタデータ） (2024-10-09T17:59:58Z)
• Retrieving, Rethinking and Revising: The Chain-of-Verification Can Improve Retrieval Augmented Generation [38.80878966092216]
  大規模言語モデル(LLM)の強化を目的とした最近の検索拡張生成(RAG) 本稿では,外部検索の正しさと内部生成の整合性を高めるためのチェーン・オブ・バリフィケーション(CoV-RAG)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:34:54Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。