論文の概要: BalancEdit: Dynamically Balancing the Generality-Locality Trade-off in Multi-modal Model Editing

• arxiv url: http://arxiv.org/abs/2505.01343v2
• Date: Mon, 09 Jun 2025 21:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:39.958681
• Title: BalancEdit: Dynamically Balancing the Generality-Locality Trade-off in Multi-modal Model Editing
• Title（参考訳）: BalancEdit: マルチモーダルモデル編集における汎用とローカリティのトレードオフの動的バランス
• Authors: Dongliang Guo, Mengxuan Hu, Zihan Guan, Thomas Hartvigsen, Sheng Li,
• Abstract要約: マルチモーダルモデル編集における一般化-局所性トレードオフの概念を導入する。 バランスモデル編集の新しい手法であるBalancEditを提案する。 この結果,堅牢な編集能力を維持しつつ,最小限のトレードオフを実証し,BalancEditの有効性を確認した。
• 参考スコア（独自算出の注目度）: 18.40863022476747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large multi-modal models inevitably decay over time as facts update and previously learned information becomes outdated. Traditional approaches such as fine-tuning are often impractical for updating these models due to their size and complexity. Instead, direct knowledge editing within the models presents a more viable solution. Current model editing techniques, however, typically overlook the unique influence ranges of different facts, leading to compromised model performance in terms of both generality and locality. To address this issue, we introduce the concept of the generality-locality trade-off in multi-modal model editing. We develop a new model editing dataset named OKEDIT, specifically designed to effectively evaluate this trade-off. Building on this foundation, we propose \textbf{BalancEdit}, a novel method for balanced model editing that dynamically achieves an optimal balance between generality and locality. BalancEdit utilizes a unique mechanism that generates both positive and negative samples for each fact to accurately determine its influence scope and incorporates these insights into the model's latent space using a discrete, localized codebook of edits, without modifying the underlying model weights. To our knowledge, this is the first approach explicitly addressing the generality-locality trade-off in multi-modal model editing. Our comprehensive results confirm the effectiveness of BalancEdit, demonstrating minimal trade-offs while maintaining robust editing capabilities. Our code and dataset are available at https://github.com/donglgcn/BalancEdit/tree/MMOKVQA.
• Abstract（参考訳）: 事実が更新され、以前に学習された情報が時代遅れになるにつれて、大規模なマルチモーダルモデルは必然的に時間の経過とともに崩壊する。 微調整のような従来のアプローチは、サイズと複雑さのためにこれらのモデルを更新するには実用的ではないことが多い。 代わりに、モデル内の直接的な知識編集は、より実行可能なソリューションを提供する。 しかし、現在のモデル編集技術は、一般的に異なる事実のユニークな影響範囲を見落とし、一般性と局所性の両方の観点からモデル性能を損なうことになる。 この問題に対処するために,マルチモーダルモデル編集における一般化-局所性トレードオフの概念を導入する。 我々は、このトレードオフを効果的に評価するために、OKEDITという新しいモデル編集データセットを開発した。 この基礎の上に構築された「textbf{BalancEdit}」は、一般化と局所性の最適バランスを動的に達成するバランスモデル編集の新しい手法である。 BalancEditは、各事実に対して正と負の両方のサンプルを生成するユニークなメカニズムを使用して、その影響範囲を正確に決定し、これらの洞察を、基礎となるモデルの重みを変更することなく、個別に局所化された編集のコードブックを使用して、モデルの潜在空間に組み込む。 我々の知る限り、これはマルチモーダルモデル編集における一般化-局所性トレードオフに明示的に対処する最初のアプローチである。 BalancEditの有効性を確認し、堅牢な編集機能を維持しながら、最小限のトレードオフを実証した。 私たちのコードとデータセットはhttps://github.com/donglgcn/BalancEdit/tree/MMOKVQAで公開されています。

関連論文リスト

• Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
  シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。 具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。 実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-10-05T05:52:22Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Edit at your own risk: evaluating the robustness of edited models to distribution shifts [0.0]
  モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。 編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。 これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2023-02-28T19:41:37Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。