論文の概要: $μ$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models

• arxiv url: http://arxiv.org/abs/2504.01196v1
• Date: Tue, 01 Apr 2025 21:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 19:59:19.171288
• Title: $μ$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models
• Title（参考訳）: $μ$KE:Matryoshka 大規模言語モデルの非構造化知識編集
• Authors: Zian Su, Ziyang Huang, Kaiyuan Zhang, Xiangyu Zhang,
• Abstract要約: Matryoshka Unstructured Knowledge Editingは、メモリ更新と出力トークン間の依存関係を保存する。 $mu$KEは、最先端の方法よりも編集効率を最大12.33%向上させる。
• 参考スコア（独自算出の注目度）: 8.472795721252856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have emerged as powerful knowledge bases yet are limited by static training data, leading to issues such as hallucinations and safety risks. Editing a model's internal knowledge through the locate-and-edit paradigm has proven a cost-effective alternative to retraining, though current unstructured approaches, especially window-based autoregressive methods, often disrupt the causal dependency between early memory updates and later output tokens. In this work, we first theoretically analyze these limitations and then introduce Matryoshka Unstructured Knowledge Editing ($\mu$KE), a novel memory update mechanism that preserves such dependencies via a Matryoshka-style objective and adaptive loss coefficients. Empirical evaluations on two models across four benchmarks demonstrate that $\mu$KE improves edit efficacy by up to 12.33% over state-of-the-art methods, and remain robust when applied to diverse formatted edits, underscoring its potential for effective unstructured knowledge editing in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強力な知識ベースとして登場したが、静的トレーニングデータによって制限されているため、幻覚や安全性リスクといった問題が発生する。 現在の非構造化アプローチ、特にウィンドウベースの自己回帰手法は、初期のメモリ更新と後の出力トークンの間の因果依存性を乱すことが多い。 本研究では,まずこれらの制約を理論的に解析し,また,その依存性をMateryoshkaスタイルの目的と適応的損失係数を用いて保存するメモリ更新機構であるMateryoshka Unstructured Knowledge Editing(\mu$KE)を導入する。 4つのベンチマークによる2つのモデルに対する実証的な評価では、$\mu$KEは最先端の手法よりも最大12.33%の編集効率を改善し、多種多様なフォーマットの編集に適用しても堅牢であり、LLMにおける非構造化知識の効率的な編集の可能性を強調している。

関連論文リスト

• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [88.35958039968081]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識のより効果的な統合を可能にする新しい手法である。 その結果,CaKEは関連する推論タスクに対して,より正確で一貫した知識の活用を可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning [38.018263569983226]
  信頼性,一般化,局所性,可搬性という4次元の10種類のモデル編集手法の評価を行った。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:04:25Z)
• Keys to Robust Edits: from Theoretical Insights to Practical Advances [20.10464264597003]
  大規模言語モデル(LLM)は知識の記憶と検索に革命をもたらしたが、矛盾や時代遅れな情報に対する課題に直面している。 本研究は、位置・エディット法における故障の原因を調査し、それらのキー・バリュー・モデリングに関する理論的知見を提供する。 経験的分析により、現在のメソッドで使われるキーは堅牢性と特異性要件を満たすことができないことが明らかになった。
  論文  参考訳（メタデータ） (2024-10-12T02:54:12Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• A generalized framework for active learning reliability: survey and benchmark [0.0]
  本研究では,効果的な能動学習戦略を構築するためのモジュラーフレームワークを提案する。 信頼性ベンチマーク問題20の解決策として39の戦略を考案した。
  論文  参考訳（メタデータ） (2021-06-03T09:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。