論文の概要: NAMET: Robust Massive Model Editing via Noise-Aware Memory Optimization

• arxiv url: http://arxiv.org/abs/2505.11876v1
• Date: Sat, 17 May 2025 07:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.90925
• Title: NAMET: Robust Massive Model Editing via Noise-Aware Memory Optimization
• Title（参考訳）: NAMET:ノイズ認識メモリ最適化によるロバスト大量モデル編集
• Authors: Yanbo Dai, Zhenlan Ji, Zongjie Li, Shuai Wang,
• Abstract要約: NAMET (Noise-aware Model Editing in Transformers) は、MEMITの1行修正によるメモリ抽出時にノイズを発生させる単純な方法である。 6つの大きな言語モデルと3つのデータセットにわたる実験により、NAMETは何千もの事実を編集する際に、既存のメソッドを一貫して上回っていることが示された。
• 参考スコア（独自算出の注目度）: 7.647276551638579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model editing techniques are essential for efficiently updating knowledge in large language models (LLMs). However, the effectiveness of existing approaches degrades in massive editing scenarios, particularly when evaluated with practical metrics or in context-rich settings. We attribute these failures to embedding collisions among knowledge items, which undermine editing reliability at scale. To address this, we propose NAMET (Noise-aware Model Editing in Transformers), a simple yet effective method that introduces noise during memory extraction via a one-line modification to MEMIT. Extensive experiments across six LLMs and three datasets demonstrate that NAMET consistently outperforms existing methods when editing thousands of facts.
• Abstract（参考訳）: モデル編集技術は、大規模言語モデル(LLM)の知識を効率的に更新するために不可欠である。 しかし、既存のアプローチの有効性は大規模な編集シナリオ、特に実践的なメトリクスやコンテキストに富んだ設定で評価する場合に低下する。 これらの失敗は知識項目間の衝突を埋め込むことによるものであり、大規模な編集の信頼性を損なう。 そこで本研究では,MEMITの1行修正によるメモリ抽出時にノイズを発生させるシンプルな手法であるNAMET(Noise-aware Model Editing in Transformers)を提案する。 6つのLSMと3つのデータセットにわたる大規模な実験により、NAMETは何千もの事実を編集する際に、既存の手法よりも一貫して優れていることが示された。

関連論文リスト

• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 JoLAは既存のメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。