論文の概要: $μ$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models

• arxiv url: http://arxiv.org/abs/2504.01196v1
• Date: Tue, 01 Apr 2025 21:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:03.876704
• Title: $μ$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models
• Title（参考訳）: $μ$KE:Matryoshka 大規模言語モデルの非構造化知識編集
• Authors: Zian Su, Ziyang Huang, Kaiyuan Zhang, Xiangyu Zhang,
• Abstract要約: Matryoshka Unstructured Knowledge Editingは、メモリ更新と出力トークン間の依存関係を保存する。 $mu$KEは、最先端の方法よりも編集効率を最大12.33%向上させる。
• 参考スコア（独自算出の注目度）: 8.472795721252856
• License:
• Abstract: Large language models (LLMs) have emerged as powerful knowledge bases yet are limited by static training data, leading to issues such as hallucinations and safety risks. Editing a model's internal knowledge through the locate-and-edit paradigm has proven a cost-effective alternative to retraining, though current unstructured approaches, especially window-based autoregressive methods, often disrupt the causal dependency between early memory updates and later output tokens. In this work, we first theoretically analyze these limitations and then introduce Matryoshka Unstructured Knowledge Editing ($\mu$KE), a novel memory update mechanism that preserves such dependencies via a Matryoshka-style objective and adaptive loss coefficients. Empirical evaluations on two models across four benchmarks demonstrate that $\mu$KE improves edit efficacy by up to 12.33% over state-of-the-art methods, and remain robust when applied to diverse formatted edits, underscoring its potential for effective unstructured knowledge editing in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強力な知識ベースとして登場したが、静的トレーニングデータによって制限されているため、幻覚や安全性リスクといった問題が発生する。 現在の非構造化アプローチ、特にウィンドウベースの自己回帰手法は、初期のメモリ更新と後の出力トークンの間の因果依存性を乱すことが多い。 本研究では,まずこれらの制約を理論的に解析し,また,その依存性をMateryoshkaスタイルの目的と適応的損失係数を用いて保存するメモリ更新機構であるMateryoshka Unstructured Knowledge Editing(\mu$KE)を導入する。 4つのベンチマークによる2つのモデルに対する実証的な評価では、$\mu$KEは最先端の手法よりも最大12.33%の編集効率を改善し、多種多様なフォーマットの編集に適用しても堅牢であり、LLMにおける非構造化知識の効率的な編集の可能性を強調している。

関連論文リスト

• Keys to Robust Edits: from Theoretical Insights to Practical Advances [20.10464264597003]
  大規模言語モデル(LLM)は知識の記憶と検索に革命をもたらしたが、矛盾や時代遅れな情報に対する課題に直面している。 本研究は、位置・エディット法における故障の原因を調査し、それらのキー・バリュー・モデリングに関する理論的知見を提供する。 経験的分析により、現在のメソッドで使われるキーは堅牢性と特異性要件を満たすことができないことが明らかになった。
  論文  参考訳（メタデータ） (2024-10-12T02:54:12Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• A generalized framework for active learning reliability: survey and benchmark [0.0]
  本研究では,効果的な能動学習戦略を構築するためのモジュラーフレームワークを提案する。 信頼性ベンチマーク問題20の解決策として39の戦略を考案した。
  論文  参考訳（メタデータ） (2021-06-03T09:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。