論文の概要: Resolving Knowledge Conflicts in Large Language Models
- arxiv url: http://arxiv.org/abs/2310.00935v1
- Date: Mon, 2 Oct 2023 06:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 23:14:02.135161
- Title: Resolving Knowledge Conflicts in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける知識紛争の解決
- Authors: Yike Wang, Shangbin Feng, Heng Wang, Weijia Shi, Vidhisha
Balachandran, Tianxing He, Yulia Tsvetkov
- Abstract要約: 大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。
知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。
KNOWLEDGE CONFLICTは文脈知識の衝突をシミュレートするための評価フレームワークである。
- 参考スコア（独自算出の注目度）: 48.92369530853202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often encounter knowledge conflicts, scenarios
where discrepancy arises between the internal parametric knowledge of LLMs and
non-parametric information provided in the prompt context. In this work we ask
what are the desiderata for LLMs when a knowledge conflict arises and whether
existing LLMs fulfill them. We posit that LLMs should 1) identify knowledge
conflicts, 2) pinpoint conflicting information segments, and 3) provide
distinct answers or viewpoints in conflicting scenarios. To this end, we
introduce KNOWLEDGE CONFLICT, an evaluation framework for simulating contextual
knowledge conflicts and quantitatively evaluating to what extent LLMs achieve
these goals. KNOWLEDGE CONFLICT includes diverse and complex situations of
knowledge conflict, knowledge from diverse entities and domains, two synthetic
conflict creation methods, and settings with progressively increasing
difficulty to reflect realistic knowledge conflicts. Extensive experiments with
the KNOWLEDGE CONFLICT framework reveal that while LLMs perform well in
identifying the existence of knowledge conflicts, they struggle to determine
the specific conflicting knowledge and produce a response with distinct answers
amidst conflicting information. To address these challenges, we propose new
instruction-based approaches that augment LLMs to better achieve the three
goals. Further analysis shows that abilities to tackle knowledge conflicts are
greatly impacted by factors such as knowledge domain and prompt text, while
generating robust responses to knowledge conflict scenarios remains an open
research question.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、LLMの内部パラメトリック知識とプロンプトコンテキストで提供される非パラメトリック情報との相違が生じるような知識の衝突にしばしば遭遇する。
この研究では、知識衝突が発生したときのLLMのデシラタとは何か、既存のLLMがそれを満たすのかを問う。
私たちは LLM は
1)知識紛争の特定。
2)矛盾する情報セグメントをピンポイントし、
3) 矛盾するシナリオにおいて、明確な回答や視点を提供する。
そこで我々は,文脈的知識紛争をシミュレーションし,LLMが目標を達成する程度を定量的に評価するための評価フレームワークであるKNOWLEDGE CONFLICTを紹介する。
KNOWLEDGE CONFLICTには、知識紛争の多様かつ複雑な状況、多様な実体や領域からの知識、2つの合成紛争発生方法、そして現実的な知識紛争を反映することの難しさを徐々に増す設定が含まれる。
KNOWLEDGE CONFLICTフレームワークによる大規模な実験により、LLMは知識衝突の存在を識別する上でうまく機能する一方で、特定の矛盾する知識を識別し、矛盾する情報の中で異なる回答で応答を生成するのに苦労していることが明らかとなった。
これらの課題に対処するため,LLMを改良して3つの目標を達成する新しい命令ベースアプローチを提案する。
さらなる分析により、知識紛争に対処する能力は知識ドメインやプロンプトテキストといった要因によって大きく影響され、一方、知識紛争シナリオに対する堅牢な応答を生成することは、依然として研究課題であることが示された。
関連論文リスト
- Is Cognition consistent with Perception? Assessing and Mitigating Multimodal Knowledge Conflicts in Document Understanding [15.828455477224516]
マルチモーダルタスクとして、文書理解には知覚能力と認知能力の両方を持つモデルが必要である。
本稿では,認知と知覚の対立を認知と知覚の対立(C&P)として定義する。
本稿では,C&Pの知識紛争を軽減するために,マルチモーダル知識一貫性ファインタニング(Multimodal Knowledge Consistency Fine-tuning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T11:28:50Z) - Insight Over Sight? Exploring the Vision-Knowledge Conflicts in Multimodal LLMs [55.74117540987519]
本稿では,マルチモーダル大言語モデル(MLLM)におけるコモンセンスレベルの視覚知識衝突の問題について考察する。
MLLMのコンフリクトのシミュレーションと評価を目的としたベンチマークを確立するため,人間のループ品質制御を付加した自動パイプラインを導入する。
各種モデルファミリーにおける9つの代表MLLMのコンフリクト分解能を評価し,テキストクエリに顕著なオーバー信頼度を求める。
論文 参考訳（メタデータ） (2024-10-10T17:31:17Z) - ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T07:41:17Z) - ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM [36.332500824079844]
大規模言語モデル (LLM) は、多くの分野にわたって顕著な進歩を遂げてきたが、知識紛争の重大な問題は研究されることはめったにない。
我々は3つの側面から知識衝突を評価するために開発された最初の総合ベンチマークであるConflictBankを紹介する。
本研究は, 誤情報, 時間的相違, 意味的相違から生じる対立を慎重に分析し, 4つのモデルファミリーと12個のLLMインスタンスに分類した。
論文 参考訳（メタデータ） (2024-08-22T02:33:13Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳（メタデータ） (2024-04-04T16:40:11Z) - Knowledge Conflicts for LLMs: A Survey [24.731074825915833]
調査では、コンテキストメモリ、コンテキスト間、メモリ内コンフリクトの3つのカテゴリに焦点が当てられている。
これらの対立は、大規模言語モデルの信頼性と性能に大きな影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2024-03-13T08:02:23Z) - Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration [39.603649838876294]
本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。
保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-01T06:11:49Z) - Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models [49.23348672822087]
構造化された事実制約に縛られた不完全な知識ネットワークからなるベンチマークである知識クロスワードを提案する。
幾何学的知識推論の新しい設定は、既存の原子/線形マルチホップQAを超える新しいLM能力を必要とする。
我々は,既存のLLMと知識クロスワードのアプローチを評価するために,広範囲な実験を行っている。
論文 参考訳（メタデータ） (2023-10-02T15:43:53Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。