論文の概要: Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents

• arxiv url: http://arxiv.org/abs/2404.16032v2
• Date: Tue, 08 Oct 2024 18:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:21.428043
• Title: Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents
• Title（参考訳）: 実文書を用いた文脈記憶紛争における大規模言語モデル行動の研究
• Authors: Evgenii Kortukov, Alexander Rubinstein, Elisa Nguyen, Seong Joon Oh,
• Abstract要約: Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
• 参考スコア（独自算出の注目度）: 54.953320616069654
• License:
• Abstract: Retrieval-augmented generation (RAG) mitigates many problems of fully parametric language models, such as temporal degradation, hallucinations, and lack of grounding. In RAG, the model's knowledge can be updated from documents provided in context. This leads to cases of conflict between the model's parametric knowledge and the contextual information, where the model may not always update its knowledge. Previous work studied context-memory knowledge conflicts by creating synthetic documents that contradict the model's correct parametric answers. We present a framework for studying such knowledge conflicts in a realistic setup. We update incorrect parametric knowledge using real conflicting documents. This reflects how knowledge conflicts arise in practice. In this realistic scenario, we find that knowledge updates fail less often than previously reported. In cases where the models still fail to update their answers, we find a parametric bias: the incorrect parametric answer appearing in context makes the knowledge update likelier to fail. These results suggest that the factual parametric knowledge of LLMs can negatively influence their reading abilities and behaviors. Our code is available at https://github.com/kortukov/realistic_knowledge_conflicts/ .
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、時間的劣化、幻覚、根拠の欠如など、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 これは、モデルのパラメトリック知識とコンテキスト情報の間に矛盾するケースを引き起こし、モデルがその知識を常に更新するとは限らない。 以前の研究は、モデルの正しいパラメトリック回答と矛盾する合成文書を作成することによって、文脈記憶知識の矛盾を研究した。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。 我々は、真に矛盾する文書を用いて、誤ったパラメトリック知識を更新する。 これは、知識の衝突が実際どのように起こるのかを反映している。 この現実的なシナリオでは、知識更新が以前報告されたよりも頻繁に失敗することが分かります。 モデルがまだ回答を更新できない場合、パラメトリックバイアスが見つかります。 これらの結果から, LLMの実践的パラメトリック知識は, 読解能力や行動に悪影響を及ぼす可能性が示唆された。 私たちのコードはhttps://github.com/kortukov/realistic_knowledge_conflicts/で利用可能です。

関連論文リスト

• Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。