論文の概要: Tug-of-War Between Knowledge: Exploring and Resolving Knowledge Conflicts in Retrieval-Augmented Language Models

• arxiv url: http://arxiv.org/abs/2402.14409v1
• Date: Thu, 22 Feb 2024 09:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 15:43:40.455969
• Title: Tug-of-War Between Knowledge: Exploring and Resolving Knowledge Conflicts in Retrieval-Augmented Language Models
• Title（参考訳）: 知識の綱領:検索言語モデルにおける知識紛争の探索と解決
• Authors: Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Xiaojian Jiang, Jiexin Xu, Qiuxia Li, Jun Zhao
• Abstract要約: Retrieval-augmented Language Model (RALMs) は、内部メモリの精製と拡張において大きな可能性を証明している。 知識の衝突は知識間の綱引きの中でALMを解析し、実用性を制限する。 そこで本研究では,モデルの信頼性を向上するためのCD2(Conflict-Disentangle Contrastive Decoding)手法を提案する。
• 参考スコア（独自算出の注目度）: 18.82042974470535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented language models (RALMs) have demonstrated significant potential in refining and expanding their internal memory by retrieving evidence from external sources. However, RALMs will inevitably encounter knowledge conflicts when integrating their internal memory with external sources. Knowledge conflicts can ensnare RALMs in a tug-of-war between knowledge, limiting their practical applicability. In this paper, we focus on exploring and resolving knowledge conflicts in RALMs. First, we present an evaluation framework for assessing knowledge conflicts across various dimensions. Then, we investigate the behavior and preference of RALMs from the following two perspectives: (1) Conflicts between internal memory and external sources: We find that stronger RALMs emerge with the Dunning-Kruger effect, persistently favoring their faulty internal memory even when correct evidence is provided. Besides, RALMs exhibit an availability bias towards common knowledge; (2) Conflicts between truthful, irrelevant and misleading evidence: We reveal that RALMs follow the principle of majority rule, leaning towards placing trust in evidence that appears more frequently. Moreover, we find that RALMs exhibit confirmation bias, and are more willing to choose evidence that is consistent with their internal memory. To solve the challenge of knowledge conflicts, we propose a method called Conflict-Disentangle Contrastive Decoding (CD2) to better calibrate the model's confidence. Experimental results demonstrate that our CD2 can effectively resolve knowledge conflicts in RALMs.
• Abstract（参考訳）: Retrieval-augmented Language Model (RALMs) は、証拠を外部ソースから取り出すことにより、内部記憶を洗練・拡張する大きな可能性を証明している。 しかし、ALMは、内部メモリと外部ソースを統合する際に、必然的に知識の衝突に遭遇する。 知識紛争は知識間の綱引きの中でALMを解析し、実用性を制限する。 本稿では,ALMにおける知識紛争の探索と解決に焦点を当てる。 まず,様々な次元にまたがる知識衝突を評価するための評価フレームワークを提案する。 そして,(1)内部記憶と外部情報源の対立: より強いALMはダンニング・クルーガー効果によって出現し, 正確な証拠が提示された場合でも, 持続的に内部記憶の欠陥を優先する。 さらに、ALMは、共通知識に対する可用性バイアスを示し、(2)真理、無関係、誤解を招く証拠の衝突を示す: 我々は、ALMが多数ルールの原則に従い、より頻繁に現れる証拠に信頼を置くことに傾倒していることを明らかにする。 さらに、ラルムが確認バイアスを示し、その内部記憶と一致する証拠を選択する意欲が強いことが判明した。 知識紛争の解決にあたり,モデルの信頼度を向上するためのCD2(Conflict-Disentangle Contrastive Decoding)という手法を提案する。 実験の結果,我々のCD2はALMの知識紛争を効果的に解決できることがわかった。

関連論文リスト

• Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models [85.13298925375692]
  大規模言語モデル(LLM)は、事前訓練中に大量の知識を符号化する。 LLMは文脈知識(CK)を取り入れることで拡張できる LLMは複雑な問題を解決するために、内部PKと外部CKを効果的に統合できるのか?
  論文  参考訳（メタデータ） (2024-10-10T23:09:08Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM [36.332500824079844]
  大規模言語モデル (LLM) は、多くの分野にわたって顕著な進歩を遂げてきたが、知識紛争の重大な問題は研究されることはめったにない。 我々は3つの側面から知識衝突を評価するために開発された最初の総合ベンチマークであるConflictBankを紹介する。 本研究は, 誤情報, 時間的相違, 意味的相違から生じる対立を慎重に分析し, 4つのモデルファミリーと12個のLLMインスタンスに分類した。
  論文  参考訳（メタデータ） (2024-08-22T02:33:13Z)
• DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models [42.776896363518844]
  本研究では,メモリ内競合がLMのコンテキスト受容能力に及ぼす影響について検討した。 我々は、2つの知識衝突対策と、本質的に矛盾するデータを含む新しいデータセットであるDynamicQAを利用する。 我々は,単一真理値の事実と比較して,LMが動的事実とメモリ内衝突の程度が大きいことを検証した。
  論文  参考訳（メタデータ） (2024-07-24T06:06:07Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Knowledge Conflicts for LLMs: A Survey [24.731074825915833]
  調査では、コンテキストメモリ、コンテキスト間、メモリ内コンフリクトの3つのカテゴリに焦点が当てられている。 これらの対立は、大規模言語モデルの信頼性と性能に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2024-03-13T08:02:23Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
  出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。 知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
  論文  参考訳（メタデータ） (2023-05-24T10:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。