論文の概要: Knowledge Conflicts for LLMs: A Survey
- arxiv url: http://arxiv.org/abs/2403.08319v1
- Date: Wed, 13 Mar 2024 08:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:10.913398
- Title: Knowledge Conflicts for LLMs: A Survey
- Title(参考訳): LLMの知識紛争:調査
- Authors: Rongwu Xu, Zehan Qi, Cunxiang Wang, Hongru Wang, Yue Zhang, Wei Xu
- Abstract要約: 調査では、コンテキストメモリ、コンテキスト間、メモリ内コンフリクトの3つのカテゴリに焦点が当てられている。
これらの対立は、大規模言語モデルの信頼性と性能に大きな影響を及ぼす可能性がある。
- 参考スコア(独自算出の注目度): 20.491697505325636
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This survey provides an in-depth analysis of knowledge conflicts for large
language models (LLMs), highlighting the complex challenges they encounter when
blending contextual and parametric knowledge. Our focus is on three categories
of knowledge conflicts: context-memory, inter-context, and intra-memory
conflict. These conflicts can significantly impact the trustworthiness and
performance of LLMs, especially in real-world applications where noise and
misinformation are common. By categorizing these conflicts, exploring the
causes, examining the behaviors of LLMs under such conflicts, and reviewing
available solutions, this survey aims to shed light on strategies for improving
the robustness of LLMs, thereby serving as a valuable resource for advancing
research in this evolving area.
- Abstract(参考訳): この調査は、大規模言語モデル(LLM)における知識の衝突を詳細に分析し、文脈的知識とパラメトリック知識を混ぜ合わせる際に直面する複雑な課題を明らかにする。
私たちの焦点は、コンテキストメモリ、コンテキスト間、メモリ内コンフリクトの3つのカテゴリの知識コンフリクトに焦点を当てています。
これらの対立は、特にノイズや誤報が一般的である現実世界のアプリケーションにおいて、LLMの信頼性と性能に大きな影響を及ぼす可能性がある。
これらの紛争を分類し、原因を探究し、これらの紛争下でのLSMの行動を調べ、利用可能な解決策を見直し、この調査は、LSMの堅牢性を改善するための戦略に光を当てることを目的としており、この発展途上国の研究を進めるための貴重な資源となっている。
関連論文リスト
- Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey [46.4375135354838]
因果推論は、自然言語処理(NLP)モデルの予測精度、公正性、堅牢性、説明可能性を高める可能性を示している。
生成型Large Language Models(LLM)の出現は、様々なNLPドメインに大きな影響を与えている。
論文 参考訳(メタデータ) (2024-03-14T17:47:20Z) - Tug-of-War Between Knowledge: Exploring and Resolving Knowledge
Conflicts in Retrieval-Augmented Language Models [18.82042974470535]
Retrieval-augmented Language Model (RALMs) は、内部メモリの精製と拡張において大きな可能性を証明している。
知識の衝突は知識間の綱引きの中でALMを解析し、実用性を制限する。
そこで本研究では,モデルの信頼性を向上するためのCD2(Conflict-Disentangle Contrastive Decoding)手法を提案する。
論文 参考訳(メタデータ) (2024-02-22T09:51:08Z) - Discerning and Resolving Knowledge Conflicts through Adaptive Decoding
with Contextual Information-Entropy Constraint [21.767987104567485]
本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。
実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
論文 参考訳(メタデータ) (2024-02-19T07:10:30Z) - Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM
Collaboration [41.58960340023974]
本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。
保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-01T06:11:49Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Resolving Knowledge Conflicts in Large Language Models [48.92369530853202]
大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。
知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。
KNOWLEDGE CONFLICTは文脈知識の衝突をシミュレートするための評価フレームワークである。
論文 参考訳(メタデータ) (2023-10-02T06:57:45Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - Information Retrieval Meets Large Language Models: A Strategic Report
from Chinese IR Community [180.28262433004113]
大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。
LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。
LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
論文 参考訳(メタデータ) (2023-07-19T05:23:43Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。