論文の概要: Studying Large Language Model Behaviors Under Realistic Knowledge Conflicts

• arxiv url: http://arxiv.org/abs/2404.16032v1
• Date: Wed, 24 Apr 2024 17:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 18:22:04.775126
• Title: Studying Large Language Model Behaviors Under Realistic Knowledge Conflicts
• Title（参考訳）: リアリスティック・ナレッジ・コンフリクトによる大規模言語モデル行動の研究
• Authors: Evgenii Kortukov, Alexander Rubinstein, Elisa Nguyen, Seong Joon Oh,
• Abstract要約: 本稿では,知識紛争を現実的に研究するための枠組みを提案する。 我々は、真に矛盾する文書を用いて、誤ったパラメトリック知識を更新する。 モデルがまだ回答を更新できない場合、パラメトリックバイアスを見つけます。
• 参考スコア（独自算出の注目度）: 54.953320616069654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) mitigates many problems of fully parametric language models, such as temporal degradation, hallucinations, and lack of grounding. In RAG, the model's knowledge can be updated from documents provided in context. This leads to cases of conflict between the model's parametric knowledge and the contextual information, where the model may not always update its knowledge. Previous work studied knowledge conflicts by creating synthetic documents that contradict the model's correct parametric answers. We present a framework for studying knowledge conflicts in a realistic setup. We update incorrect parametric knowledge using real conflicting documents. This reflects how knowledge conflicts arise in practice. In this realistic scenario, we find that knowledge updates fail less often than previously reported. In cases where the models still fail to update their answers, we find a parametric bias: the incorrect parametric answer appearing in context makes the knowledge update likelier to fail. These results suggest that the factual parametric knowledge of LLMs can negatively influence their reading abilities and behaviors. Our code is available at https://github.com/kortukov/realistic_knowledge_conflicts/.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、時間的劣化、幻覚、根拠の欠如など、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 これは、モデルのパラメトリック知識とコンテキスト情報の間に矛盾するケースを引き起こし、モデルがその知識を常に更新するとは限らない。 それまでの研究は、モデルの正しいパラメトリック回答と矛盾する合成文書を作成することによって、知識の対立を研究していた。 本稿では,知識紛争を現実的に研究するための枠組みを提案する。 我々は、真に矛盾する文書を用いて、誤ったパラメトリック知識を更新する。 これは、知識の衝突が実際どのように起こるのかを反映している。 この現実的なシナリオでは、知識更新が以前報告されたよりも頻繁に失敗することが分かります。 モデルがまだ回答を更新できない場合、パラメトリックバイアスが見つかります。 これらの結果から, LLMの実践的パラメトリック知識は, 読解能力や行動に悪影響を及ぼす可能性が示唆された。 私たちのコードはhttps://github.com/kortukov/realistic_knowledge_conflicts/で利用可能です。

関連論文リスト

• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。