論文の概要: Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models
- arxiv url: http://arxiv.org/abs/2408.07413v1
- Date: Wed, 14 Aug 2024 09:43:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 13:54:15.300005
- Title: Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models
- Title（参考訳）: 重ね合わせにおける知識:大規模言語モデルのための生涯的知識編集の失敗を回避する
- Authors: Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
- Abstract要約: 知識編集は、大規模な言語モデルにおいて、時代遅れまたは誤った知識を更新することを目的としている。
現在の知識編集手法は生涯編集のスケーラビリティに限界がある。
本研究は,生涯編集において知識編集が失敗する根本的な理由を考察する。
- 参考スコア（独自算出の注目度）: 19.357663224043534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge editing aims to update outdated or incorrect knowledge in large language models (LLMs). However, current knowledge editing methods have limited scalability for lifelong editing. This study explores the fundamental reason why knowledge editing fails in lifelong editing. We begin with the closed-form solution derived from linear associative memory, which underpins state-of-the-art knowledge editing methods. We extend the solution from single editing to lifelong editing, and through rigorous mathematical derivation, identify an interference term in the final solution, suggesting that editing knowledge may impact irrelevant knowledge. Further analysis of the interference term reveals a close relationship with superposition between knowledge representations. When knowledge superposition does not exist in language models, the interference term vanishes, allowing for lossless knowledge editing. Experiments across numerous language models reveal that knowledge superposition is universal, exhibiting high kurtosis, zero mean, and heavy-tailed distributions with clear scaling laws. Ultimately, by combining theory and experiments, we demonstrate that knowledge superposition is the fundamental reason for the failure of lifelong editing. Moreover, this is the first study to investigate knowledge editing from the perspective of superposition and provides a comprehensive observation of superposition across numerous real-world language models. Code available at https://github.com/ChenhuiHu/knowledge_in_superposition.
- Abstract（参考訳）: 知識編集は、大規模言語モデル(LLM)において、時代遅れまたは誤った知識を更新することを目的としている。
しかし、現在の知識編集手法は生涯編集のスケーラビリティに限界がある。
本研究は,生涯編集において知識編集が失敗する根本的な理由を考察する。
まず、線形連想メモリから得られる閉形式解から始め、最先端の知識編集手法の基盤となる。
我々は、単一編集から生涯編集まで、厳密な数学的導出を通じて最終解における干渉項を特定し、編集知識が無関係な知識に影響を与えることを示唆する。
干渉項のさらなる解析により、知識表現間の重ね合わせと密接な関係が明らかになる。
言語モデルに知識重畳が存在しない場合、干渉項は消滅し、損失のない知識編集が可能となる。
多くの言語モデルに対する実験により、知識重畳は普遍的であり、高い曲率、平均ゼロ、明確なスケーリング法則を持つ重み付き分布を示すことが明らかになった。
最終的に、理論と実験を組み合わせることで、知識の重ね合わせが生涯の編集に失敗する根本的な理由であることを実証する。
さらに、重ね合わせの観点から知識編集を調査する最初の研究であり、多くの実世界の言語モデルにまたがる重ね合わせを包括的に観察する。
コードはhttps://github.com/ChenhuiHu/knowledge_in_superpositionで公開されている。
関連論文リスト
- Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models [15.698183471185066]
自己回帰変換言語モデル(LM)における事実関連の記憶とリコールが注目されている。
ほとんどの編集作業は、主に主題知識に焦点を当てた既存の知識リコールの解釈の指導の下で知識編集を行う。
本研究では,トランスフォーマーLMの知識リコールを推論中に解釈し,過度な一般化を避けるために知識編集に適用する,新たな関係性に着目した視点を見いだす。
論文 参考訳（メタデータ） (2024-08-27T14:22:02Z) - How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。
新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。
知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
論文 参考訳（メタデータ） (2024-06-25T03:41:02Z) - WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。
更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。
記憶のギャップを埋めるためにWISEを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:35:52Z) - Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。
このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。
しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
論文 参考訳（メタデータ） (2024-02-28T06:40:57Z) - Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。
人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。
StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文 参考訳（メタデータ） (2024-02-20T14:36:23Z) - WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing [19.357663224043534]
本研究は,生涯編集における知識編集による性能劣化を明らかにする。
Wise-Layer Knowledge Editor (WilKE) という知識編集手法を導入する。
WilKEは、言語モデルにおいて、異なるレイヤにわたる編集知識のパターンマッチング度に基づいて、編集層を選択する。
論文 参考訳（メタデータ） (2024-02-16T05:29:59Z) - On the Robustness of Editing Large Language Models [57.477943944826904]
大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。
この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
論文 参考訳（メタデータ） (2024-02-08T17:06:45Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。
ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。
まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
論文 参考訳（メタデータ） (2023-09-16T11:07:52Z) - EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。
様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。
我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
論文 参考訳（メタデータ） (2023-08-14T16:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。