論文の概要: Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild

• arxiv url: http://arxiv.org/abs/2504.12982v1
• Date: Thu, 17 Apr 2025 14:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:54.303262
• Title: Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild
• Title（参考訳）: 検索型LLMにおける適応的知識紛争--野生における信頼性の高い応答生成を目指して
• Authors: Jiatai Wang, Zhiwei Xu, Di Jin, Xuewen Yang, Tao Li,
• Abstract要約: 大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 11.058848731627233
• License:
• Abstract: The proliferation of large language models (LLMs) has significantly advanced information retrieval systems, particularly in response generation (RG). Unfortunately, LLMs often face knowledge conflicts between internal memory and retrievaled external information, arising from misinformation, biases, or outdated knowledge. These conflicts undermine response reliability and introduce uncertainty in decision-making. In this work, we analyze how LLMs navigate knowledge conflicts from an information-theoretic perspective and reveal that when conflicting and supplementary information exhibit significant differences, LLMs confidently resolve their preferences. However, when the distinction is ambiguous, LLMs experience heightened uncertainty. Based on this insight, we propose Swin-VIB, a novel framework that integrates a pipeline of variational information bottleneck models into adaptive augmentation of retrieved information and guiding LLM preference in response generation. Extensive experiments on single-choice, open-ended question-answering (QA), and retrieval augmented generation (RAG) validate our theoretical findings and demonstrate the efficacy of Swin-VIB. Notably, our method improves single-choice task accuracy by at least 7.54\% over competitive baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)の拡散は、特に応答生成(RG)において、非常に高度な情報検索システムを持つ。 残念なことに、LSMは内部記憶と検索された外部情報との間の知識の衝突に直面し、誤情報、偏見、または時代遅れの知識から生じる。 これらの対立は応答の信頼性を損ね、意思決定に不確実性をもたらす。 本研究では,LLMが情報理論の観点から知識衝突をナビゲートする方法を解析し,矛盾情報や補足情報が大きな違いを示す場合,LLMは自らの好みを確実に解決することを明らかにした。 しかし、区別が曖昧な場合、LSMの体験は不確実性を高めた。 この知見に基づいて、変動情報ボトルネックモデルのパイプラインを適応的に拡張し、応答生成におけるLLMの嗜好を導く新しいフレームワークであるSwin-VIBを提案する。 単一選択, オープンエンド質問応答 (QA) および検索拡張生成 (RAG) に関する広範囲な実験により, 理論的知見が検証され, Swin-VIBの有効性が実証された。 特に,本手法は,競争ベースラインよりも1選択タスクの精度を少なくとも7.54\%向上させる。

関連論文リスト

• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
  現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。 本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。 さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
  論文  参考訳（メタデータ） (2024-10-09T17:59:58Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
  LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。 知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T08:39:56Z)
• LEMMA: Towards LVLM-Enhanced Multimodal Misinformation Detection with External Knowledge Augmentation [58.524237916836164]
  外部知識を付加したLVLM強化マルチモーダル誤報検出システム LEMMAを提案する。 提案手法は,Twitter と Fakeddit のデータセットにおいて,上位ベースライン LVLM の精度を 7% と 13% に向上させる。
  論文  参考訳（メタデータ） (2024-02-19T08:32:27Z)
• Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs [0.5461938536945721]
  大規模言語モデル(LLM)は、事前訓練された重みの中に大量の事実情報をカプセル化する。 この知識は本質的に限られたものであり、トレーニングデータの特徴に大きく依存している。 教師なし微調整と検索拡張生成の2つの一般的なアプローチを比較した。
  論文  参考訳（メタデータ） (2023-12-10T16:52:00Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。