論文の概要: EAMET: Robust Massive Model Editing via Embedding Alignment Optimization

• arxiv url: http://arxiv.org/abs/2505.11876v2
• Date: Mon, 22 Sep 2025 11:16:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:45.062907
• Title: EAMET: Robust Massive Model Editing via Embedding Alignment Optimization
• Title（参考訳）: EAMET: 埋め込みアライメント最適化によるロバストな大量モデル編集
• Authors: Yanbo Dai, Zhenlan Ji, Zongjie Li, Shuai Wang,
• Abstract要約: 本稿では,知識項目間の組込み誤りに対処するため,EAMET (Embedding Alignment Model Editing in Transformers)を提案する。 実験の結果、EAMETは既存の手法を一貫して上回り、10kの事実を編集する際に約90%の編集効率を達成することがわかった。
• 参考スコア（独自算出の注目度）: 12.022506016268112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model editing techniques are essential for efficiently updating knowledge in large language models (LLMs). However, the effectiveness of existing approaches degrades in massive editing scenarios, particularly when evaluated with practical metrics. Their robustness is also limited in context-rich settings or when editing multiple facts of the same subject simultaneously. We attribute these failures to the embedding misalignment among knowledge items, which undermines editing reliability at scale. To address this, we propose EAMET (Embedding Alignment Model Editing in Transformers), which addresses this issue by aligning the space of key and residual embeddings. Extensive experiments across six LLMs and three datasets demonstrate that EAMET consistently outperforms existing methods, achieving about 90\% editing efficacy when editing 10k facts. Codes and datasets are publicly available at https://ybdai7.github.io/eamet-page/.
• Abstract（参考訳）: モデル編集技術は、大規模言語モデル(LLM)の知識を効率的に更新するために不可欠である。 しかし、既存のアプローチの有効性は、特に実際のメトリクスで評価した場合、大規模な編集シナリオにおいて低下する。 それらの堅牢性は、コンテキストに富んだ設定や、同じ主題の複数の事実を同時に編集する場合にも制限される。 これらの失敗は、大規模な編集信頼性を損なう知識項目の組込み誤りに起因している。 そこで我々はEAMET(Embedding Alignment Model Editing in Transformers)を提案する。 6つのLLMと3つのデータセットにわたる大規模な実験により、EAMETは既存の手法を一貫して上回り、10kの事実を編集する際に約90%の編集効率を達成することが示された。 コードとデータセットはhttps://ybdai7.github.io/eamet-page/.comで公開されている。

関連論文リスト

• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [82.34547399693966]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。 MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• One for All: Update Parameterized Knowledge Across Multiple Models [35.137065486616805]
  大きな言語モデル(LLM)は、膨大な世界の知識を符号化するが、最新の状態を維持するのに苦労し、しばしば誤りや幻覚を引き起こす。 知識編集は、特定のモデルパラメータを更新することで、ターゲット変更を可能にする、リトレーニングの効果的な代替手段を提供する。 編集モジュールとしてプラグインモデルを用いる新しいアンサンブルベースのアプローチである OnceEdit を提案する。
  論文  参考訳（メタデータ） (2025-06-01T03:48:54Z)
• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [77.47790551485721]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 JoLAは既存のメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。