Fugu-MT 論文翻訳(概要): EMSEdit: Efficient Multi-Step Meta-Learning-based Model Editing

論文の概要: EMSEdit: Efficient Multi-Step Meta-Learning-based Model Editing

arxiv url: http://arxiv.org/abs/2508.04012v2
Date: Tue, 14 Oct 2025 08:01:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-15 16:45:44.387819
Title: EMSEdit: Efficient Multi-Step Meta-Learning-based Model Editing
Title（参考訳）: EMSEdit: マルチステップメタラーニングに基づく効率的なモデル編集
Authors: Xiaopeng Li, Shasha Li, Xi Wang, Shezheng Song, Bin Ji, Shangwen Wang, Jun Ma, Xiaodong Liu, Mina Liu, Jie Yu,
Abstract要約: EMSEditはメタラーニングベースのモデル編集の軽量な代替品である。 EMSEditは、シーケンシャルおよびバッチ編集の両方において、最先端のメソッドよりも一貫して優れていることを示す。
参考スコア（独自算出の注目度）: 20.6706431279733
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) power numerous AI applications, yet updating their knowledge remains costly. Model editing provides a lightweight alternative through targeted parameter modifications, with meta-learning-based model editing (MLME) demonstrating strong effectiveness and efficiency. However, we find that MLME struggles in low-data regimes and incurs high training costs due to the use of KL divergence. To address these issues, we propose $\textbf{E}$fficient $\textbf{M}$ulti-$\textbf{S}$tep $\textbf{Edit (EMSEdit)}$, which leverages multi-step backpropagation (MSBP) to effectively capture gradient-activation mapping patterns within editing samples, performs multi-step edits per sample to enhance editing performance under limited data, and introduces norm-based regularization to preserve unedited knowledge while improving training efficiency. Experiments on two datasets and three LLMs show that EMSEdit consistently outperforms state-of-the-art methods in both sequential and batch editing. Moreover, MSBP can be seamlessly integrated into existing approaches to yield additional performance gains. Further experiments on a multi-hop reasoning editing task demonstrate EMSEdit's robustness in handling complex edits, while ablation studies validate the contribution of each design component. Our code is available at https://github.com/xpq-tech/emsedit.
Abstract（参考訳）: 大規模言語モデル(LLM)は多くのAIアプリケーションを動かすが、知識の更新にはコストがかかる。モデル編集は、メタラーニングベースのモデル編集(MLME)により、ターゲットパラメータ修正による軽量な代替手段を提供する。しかし,MLMEは低データ体制で苦戦しており,KLのばらつきが原因で高いトレーニングコストがもたらされることが判明した。これらの問題に対処するために、我々は、多段階のバックプロパゲーション(MSBP)を活用して、サンプル中の勾配-アクティベーションマッピングパターンを効果的にキャプチャし、サンプル毎に複数ステップの編集を行い、限られたデータの下での編集性能を向上させるとともに、トレーニング効率を改善しながら、標準ベースの正規化を導入している。 2つのデータセットと3つのLCMの実験から、EMSEditはシーケンシャルおよびバッチ編集の両方において、最先端のメソッドを一貫して上回っていることが示されている。さらに、MSBPを既存のアプローチにシームレスに統合することで、さらなるパフォーマンス向上を実現することができる。マルチホップ推論編集タスクに関するさらなる実験は、複雑な編集を扱うEMSEditの堅牢性を示し、アブレーション研究は、各デザインコンポーネントの寄与を検証している。私たちのコードはhttps://github.com/xpq-tech/emsedit.comから入手可能です。

関連論文リスト

NAMET: Robust Massive Model Editing via Noise-Aware Memory Optimization [7.647276551638579]
NAMET (Noise-aware Model Editing in Transformers) は、MEMITの1行修正によるメモリ抽出時にノイズを発生させる単純な方法である。 6つの大きな言語モデルと3つのデータセットにわたる実験により、NAMETは何千もの事実を編集する際に、既存のメソッドを一貫して上回っていることが示された。
論文参考訳（メタデータ） (2025-05-17T07:00:02Z)
SPAT: Sensitivity-based Multihead-attention Pruning on Time Series Forecasting Models [8.817690876855728]
本研究では,SPAT(textbfS$ensitivity $textbfP$runer for $textbfAt$tention)という構造化プルーニング手法を提案する。データセットの実験では、SPATで処理されたモデルはMSEで2.842%、MAEで1.996%、FLOPで35.274%の削減を達成した。
論文参考訳（メタデータ） (2025-05-13T17:39:31Z)
Simple Semi-supervised Knowledge Distillation from Vision-Language Models via $\mathbf{\ exttt{D}}$ual-$\mathbf{\ exttt{H}}$ead $\mathbf{\ exttt{O}}$ptimization [49.2338910653152]
VLM(Vision-Constrained Model)は、ラベル付きデータが最小限に抑えられたリッチテキスト情報を活用することで、様々なタスクで顕著な成功を収めた。知識蒸留(KD)は、この問題に対して確立された解決策を提供するが、近年のVLMからのKDアプローチでは、多段階のトレーニングや追加のチューニングがしばしば行われている。本稿では,VLMの知識を,半言語設定でコンパクトなタスク固有モデルに伝達する,シンプルで効果的なKDフレームワークであるmathbftextttDHO$を提案する。
論文参考訳（メタデータ） (2025-05-12T15:39:51Z)
S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文参考訳（メタデータ） (2025-02-18T13:40:22Z)
Control LLM: Controlled Evolution for Intelligence Retention in LLM [4.67235851066221]
並列事前学習および拡張トランスブロックを利用した新しいアプローチである textbfControl LLM を提案する。 CPT(Continuous Pre-Training)とCSFT(Continuous Supervised Fine-Tuning)における制御LDMの有効性を示す実験既存の手法を超越し、同じベースモデルからチューニングされたオープンソースモデルの中でSOTAを実現する。
論文参考訳（メタデータ） (2025-01-19T08:06:06Z)
A hybrid framework for effective and efficient machine unlearning [12.499101994047862]
マシン・アンラーニング(MU)は、既に訓練済みのモデルパラメータから取り消されたサンプルのインプリントを取り除くために提案されている。我々は、その上で、全体的な成功を達成するために、新しいハイブリッド戦略を提示する。
論文参考訳（メタデータ） (2024-12-19T03:59:26Z)
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文参考訳（メタデータ） (2024-06-15T09:31:03Z)
Model Extrapolation Expedites Alignment [135.12769233630362]
本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
論文参考訳（メタデータ） (2024-04-25T17:39:50Z)
VLKEB: A Large Vision-Language Model Knowledge Editing Benchmark [53.091690659399234]
大規模言語モデル(LLM)の知識編集は注目されている。 3つのメトリクス(信頼性、局所性、一般性)からなる既存のLVLM編集ベンチマークは、合成された評価画像の品質が不足している。我々は、新しいLarge $textbfV$ision-$textbfL$anguage Modelを構築するために、より信頼性の高いデータ収集手法を使用します。
論文参考訳（メタデータ） (2024-03-12T06:16:33Z)
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
論文参考訳（メタデータ） (2024-02-22T18:56:07Z)
SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
論文参考訳（メタデータ） (2024-01-31T13:08:45Z)
Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。私たちのフレームワークは4つの重要なコンポーネントを強調しています。逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2023-10-31T16:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。