論文の概要: Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing

• arxiv url: http://arxiv.org/abs/2503.11895v2
• Date: Tue, 17 Jun 2025 19:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 16:34:05.340861
• Title: Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing
• Title（参考訳）: 反復・隣接支援モデル編集によるアンダー編集とオーバー編集の解消
• Authors: Bhiman Kumar Baghel, Scott M. Jordan, Zheyuan Ryan Shi, Xiang Lorraine Li,
• Abstract要約: 大規模言語モデル(LLM)は下流のタスクに広くデプロイされているが、リトレーニングや微調整によって知識を最新に保つことは、しばしば計算コストがかかる。 モデル編集は、ターゲットとするパラメータのサブセットを更新することで、より効率的な代替手段を提供する。 本稿では,UnderEditを緩和するために連続的な編集を行う反復的モデル編集法と,OverEditの削減のために,編集中に近隣の知識を取り入れた近隣モデル編集法との2つの補完手法を提案する。
• 参考スコア（独自算出の注目度）: 7.752740499342269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are widely deployed in downstream tasks, but keeping their knowledge up-to-date via retraining or fine-tuning is often computationally expensive. Model editing provides a more efficient alternative by updating a targeted subset of parameters, which often follows the locate-and-edit paradigm. Despite this efficiency, existing methods are limited: edits may fail to inject knowledge (UnderEdit) or unintentionally disrupt unrelated neighboring knowledge (OverEdit). To address these challenges, we propose two complementary methods: iterative model editing, which applies successive edits to mitigate UnderEdit, and neighbor-assisted model editing, which incorporates neighboring knowledge during editing to reduce OverEdit. Our extensive experiments show that these techniques improve editing performance across multiple LLMs, algorithms, and benchmarks, reducing UnderEdit by up to 38 percentage points and OverEdit by up to 6, while remaining broadly applicable to any locate-and-edit method.
• Abstract（参考訳）: 大規模言語モデル(LLM)は下流のタスクに広くデプロイされているが、リトレーニングや微調整によって知識を最新に保つことは、しばしば計算コストがかかる。 モデル編集は、ターゲットとするパラメータのサブセットを更新することで、より効率的な代替手段を提供する。 編集は知識を注入しない(UnderEdit)か、意図せず隣接する知識を妨害する(OverEdit)。 これらの課題に対処するため,本研究では,UnderEditを緩和するために連続的な編集を行う反復的モデル編集法と,OverEditを減らすために近隣の知識を取り入れた近隣モデル編集法という2つの補完的手法を提案する。 大規模な実験により,これらの手法は複数のLLM,アルゴリズム,ベンチマークの編集性能を向上し,UnderEditを最大38ポイント削減し,OverEditを最大6ポイント削減した。

関連論文リスト

• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
  シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。 具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。 実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-10-05T05:52:22Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Rebuilding ROME : Resolving Model Collapse during Sequential Model Editing [2.569159339315845]
  Rank-One Model Editing (ROME) の実装において,編集の無効化は不規則な成果であることを示す。 我々は、r-ROME と呼ばれるより安定した実装 ROME を提供し、r-ROME で大規模な逐次編集を行う場合、モデル崩壊はもはや観測されないことを示す。
  論文  参考訳（メタデータ） (2024-03-11T21:33:05Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• A Structural Model for Contextual Code Changes [20.185486717922615]
  部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。 提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
  論文  参考訳（メタデータ） (2020-05-27T07:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。