論文の概要: Why Does New Knowledge Create Messy Ripple Effects in LLMs?
- arxiv url: http://arxiv.org/abs/2407.12828v2
- Date: Fri, 19 Jul 2024 01:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 21:49:14.883192
- Title: Why Does New Knowledge Create Messy Ripple Effects in LLMs?
- Title（参考訳）: LLMになぜ新しい知識がメッシーリップル効果を生み出すのか?
- Authors: Jiaxin Qin, Zixuan Zhang, Chi Han, Manling Li, Pengfei Yu, Heng Ji,
- Abstract要約: GradSimは、LMの知識がいつ、なぜ更新されたのかを効果的に示す指標である。
GradSimは、元の事実の勾配とその関連する知識の間のコサイン類似性によって計算される。
- 参考スコア（独自算出の注目度）: 64.46653737914261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extensive previous research has focused on post-training knowledge editing (KE) for language models (LMs) to ensure that knowledge remains accurate and up-to-date. One desired property and open question in KE is to let edited LMs correctly handle ripple effects, where LM is expected to answer its logically related knowledge accurately. In this paper, we answer the question of why most KE methods still create messy ripple effects. We conduct extensive analysis and identify a salient indicator, GradSim, that effectively reveals when and why updated knowledge ripples in LMs. GradSim is computed by the cosine similarity between gradients of the original fact and its related knowledge. We observe a strong positive correlation between ripple effect performance and GradSim across different LMs, KE methods, and evaluation metrics. Further investigations into three counter-intuitive failure cases (Negation, Over-Ripple, Multi-Lingual) of ripple effects demonstrate that these failures are often associated with very low GradSim. This finding validates that GradSim is an effective indicator of when knowledge ripples in LMs.
- Abstract（参考訳）: これまでの広範囲にわたる研究は、言語モデル(LM)の学習後知識編集(KE)に焦点を当てており、知識が正確かつ最新であることを保証する。
KEで望まれる特性とオープンな疑問の一つは、編集されたLMがリップル効果を正しく扱えるようにすることであり、そこではLMはその論理的に関連する知識に正確に答えることが期待されている。
本稿では,ほとんどのKE手法がいまだに乱雑な波及効果を生んでいる理由を考察する。
我々は広範囲な分析を行い、ALMの知識がいつ、なぜ更新されるのかを効果的に明らかにする有能な指標であるGradSimを同定する。
GradSimは、元の事実の勾配とその関連する知識の間のコサイン類似性によって計算される。
我々は、異なるLM、KE法、評価指標間で、リップル効果性能とGradSimの強い正の相関関係を観察する。
リップル効果の3つの逆直観的障害(ネゲーション、オーバーリップ、マルチリンガル)に関するさらなる調査は、これらの障害がしばしば非常に低いGradSimと関連していることを示している。
この発見は、GradSimが知識がLMに波及する際の効果的な指標であることを示す。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳（メタデータ） (2024-06-19T21:45:20Z) - Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding [7.855485779946983]
キャリブレーション言語モデル(LM)は、その生成信頼度を実際の回答の正しさの確率と整合させる。
本稿では,アクティベーションに基づくキャリブレーション手法であるActCabを提案する。
また,信頼度の高い復号法であるCoDecを提案する。
論文 参考訳（メタデータ） (2024-06-19T05:33:34Z) - BEAR: A Unified Framework for Evaluating Relational Knowledge in Causal and Masked Language Models [2.2863439039616127]
調査は、言語モデル(LM)が事前学習中に関係知識を習得した度合いを評価する。
従来のアプローチは、事前学習するLMで使用される目的関数に依存していた。
本稿では,ある文章文のログ類似度を推定する,LM固有の能力を利用する手法を提案する。
論文 参考訳（メタデータ） (2024-04-05T14:13:55Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。
本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。
6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
論文 参考訳（メタデータ） (2024-01-19T15:39:49Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳（メタデータ） (2023-10-03T15:10:46Z) - When Not to Trust Language Models: Investigating Effectiveness of
Parametric and Non-Parametric Memories [58.3421305091187]
本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。
LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。
我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
論文 参考訳（メタデータ） (2022-12-20T18:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。