論文の概要: One for All: Update Parameterized Knowledge Across Multiple Models

• arxiv url: http://arxiv.org/abs/2506.00817v1
• Date: Sun, 01 Jun 2025 03:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.682558
• Title: One for All: Update Parameterized Knowledge Across Multiple Models
• Title（参考訳）: 一つは、複数のモデルにまたがるパラメータ化知識の更新
• Authors: Weitao Ma, Xiyuan Du, Xiaocheng Feng, Lei Huang, Yichong Huang, Huiyi Zhang, Xiaoliang Yang, Baohang Li, Xiachong Feng, Ting Liu, Bing Qin,
• Abstract要約: 大きな言語モデル(LLM)は、膨大な世界の知識を符号化するが、最新の状態を維持するのに苦労し、しばしば誤りや幻覚を引き起こす。 知識編集は、特定のモデルパラメータを更新することで、ターゲット変更を可能にする、リトレーニングの効果的な代替手段を提供する。 編集モジュールとしてプラグインモデルを用いる新しいアンサンブルベースのアプローチである OnceEdit を提案する。
• 参考スコア（独自算出の注目度）: 35.137065486616805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) encode vast world knowledge but struggle to stay up-to-date, often leading to errors and hallucinations. Knowledge editing offers an efficient alternative to retraining, enabling targeted modifications by updating specific model parameters. However, existing methods primarily focus on individual models, posing challenges in efficiently updating multiple models and adapting to new models. To address this, we propose OnceEdit, a novel ensemble-based approach that employs a plug-in model as the editing module, enabling stable knowledge updates across multiple models. Building on the model ensemble, OnceEdit introduces two key mechanisms to enhance its effectiveness. First, we introduce a dynamic weight mechanism through a \weight token for distinguishing between edit-related and non-edit-related instances, ensuring the appropriate utilization of knowledge from integrated models. Second, we incorporate an ensemble enhancement mechanism to mitigate the excessive reliance on the central model inherent in the model ensemble technique, making it more suitable for knowledge editing. Extensive experiments on diverse LLMs demonstrate that OnceEdit consistently outperforms existing methods while achieving superior editing efficiency. Further analysis confirms its adaptability and stability in multi-model editing scenarios. Our code will be available.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、膨大な世界の知識を符号化するが、最新の状態を維持するのに苦労し、しばしば誤りや幻覚を引き起こす。 知識編集は、特定のモデルパラメータを更新することで、ターゲット変更を可能にする、リトレーニングの効果的な代替手段を提供する。 しかし、既存の手法は主に個々のモデルに焦点を当てており、複数のモデルを効率的に更新し、新しいモデルに適応することの難しさを浮き彫りにしている。 そこで我々は,プラグインモデルを編集モジュールとして利用し,複数のモデルにまたがる安定した知識更新を可能にする,新しいアンサンブルベースのアプローチである OnceEdit を提案する。 onceEditはモデルアンサンブルに基づいて、その有効性を高めるための2つの重要なメカニズムを導入している。 まず,編集関連インスタンスと非編集関連インスタンスを区別し,統合モデルからの知識の適切な活用を保証するために,軽量トークンを用いて動的重み機構を導入する。 第2に,モデルアンサンブル技術に固有の中心モデルへの過度な依存を軽減するために,アンサンブル拡張機構を組み込むことにより,知識編集により適している。 多様な LLM に関する大規模な実験により、E onceEdit は編集効率を向上しつつ、既存のメソッドを一貫して上回っていることが示されている。 さらなる分析により、マルチモデル編集シナリオにおける適応性と安定性が確認される。 私たちのコードは利用可能です。

関連論文リスト

• BalancEdit: Dynamically Balancing the Generality-Locality Trade-off in Multi-modal Model Editing [18.40863022476747]
  マルチモーダルモデル編集における一般化-局所性トレードオフの概念を導入する。 バランスモデル編集の新しい手法であるBalancEditを提案する。 この結果,堅牢な編集能力を維持しつつ,最小限のトレードオフを実証し,BalancEditの有効性を確認した。
  論文  参考訳（メタデータ） (2025-05-02T15:31:32Z)
• Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing [7.752740499342269]
  大規模言語モデル(LLM)は、様々な下流言語タスクで使用される。 モデルの再トレーニングと微調整はどちらもコストがかかる可能性がある。 モデル編集は、モデルパラメータの重要なサブセットにのみ更新することで、効率的で効果的な代替手段を提供する。 単一パラメータの更新が不十分な場合が多いという仮説に基づいて,反復的モデル編集を提案する。 提案手法は,複数のモデル編集アルゴリズム,LLM,ベンチマークデータセットに対して,最大38ポイント,OverEditを最大6ポイント削減する。
  論文  参考訳（メタデータ） (2025-03-14T21:53:12Z)
• Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
  シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。 具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。 実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-10-05T05:52:22Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。