論文の概要: Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence

• arxiv url: http://arxiv.org/abs/2210.13701v1
• Date: Tue, 25 Oct 2022 01:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:30:03.120361
• Title: Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
• Title（参考訳）: 複雑な知識の衝突をもたらすリッチな知識ソース: 矛盾する証拠を反映するモデルの再検討
• Authors: Hung-Ting Chen, Michael J.Q. Zhang, Eunsol Choi
• Abstract要約: パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
• 参考スコア（独自算出の注目度）: 37.18100697469402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering models can use rich knowledge sources -- up to one hundred retrieved passages and parametric knowledge in the large-scale language model (LM). Prior work assumes information in such knowledge sources is consistent with each other, paying little attention to how models blend information stored in their LM parameters with that from retrieved evidence documents. In this paper, we simulate knowledge conflicts (i.e., where parametric knowledge suggests one answer and different passages suggest different answers) and examine model behaviors. We find retrieval performance heavily impacts which sources models rely on, and current models mostly rely on non-parametric knowledge in their best-performing settings. We discover a troubling trend that contradictions among knowledge sources affect model confidence only marginally. To address this issue, we present a new calibration study, where models are discouraged from presenting any single answer when presented with multiple conflicting answer candidates in retrieved evidences.
• Abstract（参考訳）: 質問応答モデルには豊富な知識ソース -- 最大100の検索されたパスと、大規模言語モデル(lm)におけるパラメトリックな知識 -- が利用できる。 これまでの作業では、これらの知識ソースの情報は互いに一致しており、モデルがLMパラメータに格納された情報と、取得した証拠文書の情報をどのようにブレンドするかにはほとんど注意を払わない。 本稿では,知識の対立(パラメトリック知識が一つの答えを示し,異なる文が異なる回答を示す場合)をシミュレートし,モデル行動を検討する。 検索のパフォーマンスは、どのソースモデルに依存しているかに大きく影響し、現在のモデルは、最もパフォーマンスの高い設定において、主に非パラメトリックな知識に依存しています。 我々は,知識ソース間の矛盾がモデルの信頼感にわずかな影響しか及ぼさないという厄介な傾向を見出す。 そこで本研究では,複数の矛盾する解答候補を提示した場合に,モデルが一つの解答を提示することを妨げる新たな校正手法を提案する。

関連論文リスト

• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Entity-Based Knowledge Conflicts in Question Answering [29.973926661540524]
  我々は、文脈情報が学習情報と矛盾する知識矛盾の問題を定式化する。 本稿では,幻覚を最小化し,分布外一般化を4%～7%改善するパラメトリック知識の過度依存を軽減する手法を提案する。 本研究は, 実践者が読解よりも幻覚の傾向を評価することの重要性を示し, 緩和戦略が情報進化への一般化を促進することを示すものである。
  論文  参考訳（メタデータ） (2021-09-10T18:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。