論文の概要: Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating
Models to Reflect Conflicting Evidence
- arxiv url: http://arxiv.org/abs/2210.13701v1
- Date: Tue, 25 Oct 2022 01:46:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:30:03.120361
- Title: Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating
Models to Reflect Conflicting Evidence
- Title(参考訳): 複雑な知識の衝突をもたらすリッチな知識ソース: 矛盾する証拠を反映するモデルの再検討
- Authors: Hung-Ting Chen, Michael J.Q. Zhang, Eunsol Choi
- Abstract要約: パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。
検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。
我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
- 参考スコア(独自算出の注目度): 37.18100697469402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Question answering models can use rich knowledge sources -- up to one hundred
retrieved passages and parametric knowledge in the large-scale language model
(LM). Prior work assumes information in such knowledge sources is consistent
with each other, paying little attention to how models blend information stored
in their LM parameters with that from retrieved evidence documents. In this
paper, we simulate knowledge conflicts (i.e., where parametric knowledge
suggests one answer and different passages suggest different answers) and
examine model behaviors. We find retrieval performance heavily impacts which
sources models rely on, and current models mostly rely on non-parametric
knowledge in their best-performing settings. We discover a troubling trend that
contradictions among knowledge sources affect model confidence only marginally.
To address this issue, we present a new calibration study, where models are
discouraged from presenting any single answer when presented with multiple
conflicting answer candidates in retrieved evidences.
- Abstract(参考訳): 質問応答モデルには豊富な知識ソース -- 最大100の検索されたパスと、大規模言語モデル(lm)におけるパラメトリックな知識 -- が利用できる。
これまでの作業では、これらの知識ソースの情報は互いに一致しており、モデルがLMパラメータに格納された情報と、取得した証拠文書の情報をどのようにブレンドするかにはほとんど注意を払わない。
本稿では,知識の対立(パラメトリック知識が一つの答えを示し,異なる文が異なる回答を示す場合)をシミュレートし,モデル行動を検討する。
検索のパフォーマンスは、どのソースモデルに依存しているかに大きく影響し、現在のモデルは、最もパフォーマンスの高い設定において、主に非パラメトリックな知識に依存しています。
我々は,知識ソース間の矛盾がモデルの信頼感にわずかな影響しか及ぼさないという厄介な傾向を見出す。
そこで本研究では,複数の矛盾する解答候補を提示した場合に,モデルが一つの解答を提示することを妨げる新たな校正手法を提案する。
関連論文リスト
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。
これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。
我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
論文 参考訳(メタデータ) (2023-05-10T17:54:51Z) - Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual Noise [14.38859858538404]
検索された文書セットでは、「関連」文書でさえ誤った情報や誤った情報を含むことがある。
我々の研究は、"関連"文書でさえ誤った情報や誤った情報を含む、より困難なシナリオを調査します。
本稿では,識別器を明示的に微調整したり,GPT-3.5に識別能力の付与を促すことによって,検索した文書間の知識衝突を処理する手法を提案する。
論文 参考訳(メタデータ) (2023-05-02T16:28:10Z) - The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources
in Natural Language Understanding Systems [87.3207729953778]
我々は、データセット上で最先端のコア参照解決モデルを評価する。
いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。
それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
論文 参考訳(メタデータ) (2022-12-15T23:26:54Z) - DisentQA: Disentangling Parametric and Contextual Knowledge with
Counterfactual Question Answering [34.70206857546496]
質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。
答えが与えられた非パラメトリック知識に由来するかどうかは不明である。
本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
論文 参考訳(メタデータ) (2022-11-10T15:34:44Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Entity-Based Knowledge Conflicts in Question Answering [29.973926661540524]
我々は、文脈情報が学習情報と矛盾する知識矛盾の問題を定式化する。
本稿では,幻覚を最小化し,分布外一般化を4%~7%改善するパラメトリック知識の過度依存を軽減する手法を提案する。
本研究は, 実践者が読解よりも幻覚の傾向を評価することの重要性を示し, 緩和戦略が情報進化への一般化を促進することを示すものである。
論文 参考訳(メタデータ) (2021-09-10T18:29:44Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。