論文の概要: Resolving Knowledge Conflicts in Large Language Models
- arxiv url: http://arxiv.org/abs/2310.00935v1
- Date: Mon, 2 Oct 2023 06:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 23:14:02.135161
- Title: Resolving Knowledge Conflicts in Large Language Models
- Title(参考訳): 大規模言語モデルにおける知識紛争の解決
- Authors: Yike Wang, Shangbin Feng, Heng Wang, Weijia Shi, Vidhisha
Balachandran, Tianxing He, Yulia Tsvetkov
- Abstract要約: 大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。
知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。
KNOWLEDGE CONFLICTは文脈知識の衝突をシミュレートするための評価フレームワークである。
- 参考スコア(独自算出の注目度): 48.92369530853202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often encounter knowledge conflicts, scenarios
where discrepancy arises between the internal parametric knowledge of LLMs and
non-parametric information provided in the prompt context. In this work we ask
what are the desiderata for LLMs when a knowledge conflict arises and whether
existing LLMs fulfill them. We posit that LLMs should 1) identify knowledge
conflicts, 2) pinpoint conflicting information segments, and 3) provide
distinct answers or viewpoints in conflicting scenarios. To this end, we
introduce KNOWLEDGE CONFLICT, an evaluation framework for simulating contextual
knowledge conflicts and quantitatively evaluating to what extent LLMs achieve
these goals. KNOWLEDGE CONFLICT includes diverse and complex situations of
knowledge conflict, knowledge from diverse entities and domains, two synthetic
conflict creation methods, and settings with progressively increasing
difficulty to reflect realistic knowledge conflicts. Extensive experiments with
the KNOWLEDGE CONFLICT framework reveal that while LLMs perform well in
identifying the existence of knowledge conflicts, they struggle to determine
the specific conflicting knowledge and produce a response with distinct answers
amidst conflicting information. To address these challenges, we propose new
instruction-based approaches that augment LLMs to better achieve the three
goals. Further analysis shows that abilities to tackle knowledge conflicts are
greatly impacted by factors such as knowledge domain and prompt text, while
generating robust responses to knowledge conflict scenarios remains an open
research question.
- Abstract(参考訳): 大規模言語モデル(LLM)は、LLMの内部パラメトリック知識とプロンプトコンテキストで提供される非パラメトリック情報との相違が生じるような知識の衝突にしばしば遭遇する。
この研究では、知識衝突が発生したときのLLMのデシラタとは何か、既存のLLMがそれを満たすのかを問う。
私たちは LLM は
1)知識紛争の特定。
2)矛盾する情報セグメントをピンポイントし、
3) 矛盾するシナリオにおいて、明確な回答や視点を提供する。
そこで我々は,文脈的知識紛争をシミュレーションし,LLMが目標を達成する程度を定量的に評価するための評価フレームワークであるKNOWLEDGE CONFLICTを紹介する。
KNOWLEDGE CONFLICTには、知識紛争の多様かつ複雑な状況、多様な実体や領域からの知識、2つの合成紛争発生方法、そして現実的な知識紛争を反映することの難しさを徐々に増す設定が含まれる。
KNOWLEDGE CONFLICTフレームワークによる大規模な実験により、LLMは知識衝突の存在を識別する上でうまく機能する一方で、特定の矛盾する知識を識別し、矛盾する情報の中で異なる回答で応答を生成するのに苦労していることが明らかとなった。
これらの課題に対処するため,LLMを改良して3つの目標を達成する新しい命令ベースアプローチを提案する。
さらなる分析により、知識紛争に対処する能力は知識ドメインやプロンプトテキストといった要因によって大きく影響され、一方、知識紛争シナリオに対する堅牢な応答を生成することは、依然として研究課題であることが示された。
関連論文リスト
- Knowledge Conflicts for LLMs: A Survey [20.491697505325636]
調査では、コンテキストメモリ、コンテキスト間、メモリ内コンフリクトの3つのカテゴリに焦点が当てられている。
これらの対立は、大規模言語モデルの信頼性と性能に大きな影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2024-03-13T08:02:23Z) - Tug-of-War Between Knowledge: Exploring and Resolving Knowledge
Conflicts in Retrieval-Augmented Language Models [18.82042974470535]
Retrieval-augmented Language Model (RALMs) は、内部メモリの精製と拡張において大きな可能性を証明している。
知識の衝突は知識間の綱引きの中でALMを解析し、実用性を制限する。
そこで本研究では,モデルの信頼性を向上するためのCD2(Conflict-Disentangle Contrastive Decoding)手法を提案する。
論文 参考訳(メタデータ) (2024-02-22T09:51:08Z) - Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM
Collaboration [41.58960340023974]
本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。
保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-01T06:11:49Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Knowledge Crosswords: Geometric Reasoning over Structured Knowledge with
Large Language Models [51.35398315130094]
構造的知識に対する幾何学的推論を提案し、そこでは知識の一部がグラフ構造に連結され、モデルは不足した情報を埋める必要がある。
このような幾何学的知識推論は、構造化された知識、不確実性のある推論、事実の検証、エラーが発生した時のバックトラックを扱う能力を必要とする。
本稿では,不完全なエンティティネットワークの幾何学的制約を表す自然言語質問からなるマルチブランクQAデータセットであるKnowledge Crosswordsを提案する。
論文 参考訳(メタデータ) (2023-10-02T15:43:53Z) - "Merge Conflicts!" Exploring the Impacts of External Distractors to
Parametric Knowledge Graphs [15.660128743249611]
大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。
LLMは必然的にユーザとの対話中に外部知識を必要とする。
外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
論文 参考訳(メタデータ) (2023-09-15T17:47:59Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。