論文の概要: Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

• arxiv url: http://arxiv.org/abs/2605.16686v1
• Date: Fri, 15 May 2026 22:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.909879
• Title: Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates
• Title（参考訳）: Tensor-Structured UpdatesによるMixture-of-Experts LLMのためのスケーラブルな知識編集
• Authors: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov,
• Abstract要約: 我々は,MOE ベースの LLM における知識編集のための MEMIT ライクなフレームワークを提案する。 提案手法は,MoE層のテンソル構造を利用して,専門家ごとの編集対象を忠実に定式化する。 提案手法は,編集手順を最大6倍に向上させながら,主KE測定値の強いベースラインの編集品質に適合する。
• 参考スコア（独自算出の注目度）: 41.986377298239525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing (KE) provides a lightweight alternative to repeated fine-tuning of LLMs. However, most existing KE methods target dense feed-forward layers, while modern LLMs increasingly adopt Mixture-of-Experts (MoE) architectures for their superior memory footprint and inference efficiency. This mismatch leaves a growing class of production models without principled editing tools. We propose a MEMIT-like framework for knowledge editing in MoE-based LLMs. Our method exploits the tensor structure of MoE layers to formulate the editing objective faithfully at the per expert level, and applies the Woodbury matrix identity to avoid materializing or inverting the full stacked matrix of expert weights. The resulting update reduces to inversions of fixed low-rank matrices and requires no additional backward passes. Empirically, our approach matches the editing quality of strong baselines on the main KE metrics while accelerating the editing procedure by up to 6x, owing to the batched MEMIT-style formulation and the low-dimensional inversions enabled by the Woodbury identity. These results show that closed-form, parameter-modifying KE can be extended efficiently beyond dense layers, opening a path toward scalable knowledge editing in modern sparse LLM architectures.
• Abstract（参考訳）: 知識編集(KE)は、LLMの微調整を繰り返すための軽量な代替手段を提供する。 しかし、既存のKE手法の多くは高密度フィードフォワード層をターゲットにしているが、現代のLCMではメモリフットプリントと推論効率にMixture-of-Experts (MoE) アーキテクチャを採用している。 このミスマッチは、原則化された編集ツールを使わずに、成長するプロダクションモデルのクラスを残します。 我々は,MOE ベースの LLM における知識編集のための MEMIT ライクなフレームワークを提案する。 提案手法は,MoE層のテンソル構造を利用して,各専門家レベルでの編集目的を忠実に定式化し,Woodbury行列の同一性を適用して,専門家の重みの総積行列の実体化や逆転を回避する。 その結果、固定された低ランク行列の反転が減少し、追加の後方パスが不要になった。 提案手法は, バッチ化MEMIT方式の定式化と, ウッドベリー・アイデンティティによる低次元インバージョンにより, 編集手順を最大6倍に高速化しながら, 主KE測定値の強いベースラインの編集品質に適合する。 これらの結果から, 閉じたパラメータ修飾KEは高密度層を超えて効率的に拡張可能であることが示され, 現代の疎LLMアーキテクチャにおいて, スケーラブルな知識編集への道が開かれた。

関連論文リスト

• MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs [8.074300009866548]
  MoEEditは、大規模言語モデルにおけるパラメータ修飾知識編集のためのルーティング安定フレームワークである。 MoEEditは,高特異性とルーティング安定性を保ちながら,最先端の有効性と一般化を実現する。
  論文  参考訳（メタデータ） (2026-02-11T15:56:30Z)
• Massive Editing for Large Language Models Based on Dynamic Weight Generation [51.34392079812964]
  本稿では,動的重み生成(MeG)に基づく大規模言語モデル(LLM)の大量編集手法を提案する。 我々のMeGは信頼性,一般性,局所性といった指標を用いて,大規模知識編集の性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2025-12-16T13:32:55Z)
• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。