論文の概要: Model Merging for Knowledge Editing

• arxiv url: http://arxiv.org/abs/2506.12384v1
• Date: Sat, 14 Jun 2025 07:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.005561
• Title: Model Merging for Knowledge Editing
• Title（参考訳）: 知識編集のためのモデルマージ
• Authors: Zichuan Fu, Xian Wu, Guojing Li, Yingying Zhang, Yefeng Zheng, Tianshi Ming, Yejing Wang, Wanyu Wang, Xiangyu Zhao,
• Abstract要約: 大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 53.799891745131724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) require continuous updates to maintain accurate and current knowledge as the world evolves. While existing knowledge editing approaches offer various solutions for knowledge updating, they often struggle with sequential editing scenarios and harm the general capabilities of the model, thereby significantly hampering their practical applicability. This paper proposes a two-stage framework combining robust supervised fine-tuning (R-SFT) with model merging for knowledge editing. Our method first fine-tunes the LLM to internalize new knowledge fully, then merges the fine-tuned model with the original foundation model to preserve newly acquired knowledge and general capabilities. Experimental results demonstrate that our approach significantly outperforms existing methods in sequential editing while better preserving the original performance of the model, all without requiring any architectural changes. Code is available at: https://github.com/Applied-Machine-Learning-Lab/MM4KE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、シーケンシャルな編集シナリオに悩まされ、モデルの一般的な能力を損なうため、実用性が著しく損なわれる。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。 提案手法は,まず LLM に新たな知識を完全に内包させ,次に,その微調整モデルと元の基礎モデルとを融合させて,新たに獲得した知識と一般能力の保存を行う。 実験結果から,提案手法は逐次的編集において既存の手法よりも優れており,設計上の変更を必要とせず,モデルの本来の性能を良好に保っていることがわかった。 コードは、https://github.com/Applied-Machine-Learning-Lab/MM4KEで入手できる。

関連論文リスト

• One for All: Update Parameterized Knowledge Across Multiple Models [35.137065486616805]
  大きな言語モデル(LLM)は、膨大な世界の知識を符号化するが、最新の状態を維持するのに苦労し、しばしば誤りや幻覚を引き起こす。 知識編集は、特定のモデルパラメータを更新することで、ターゲット変更を可能にする、リトレーニングの効果的な代替手段を提供する。 編集モジュールとしてプラグインモデルを用いる新しいアンサンブルベースのアプローチである OnceEdit を提案する。
  論文  参考訳（メタデータ） (2025-06-01T03:48:54Z)
• MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality [55.01380617388064]
  既存のほとんどのメソッドは特定のモデルに過度に適合し、更新毎に編集済みの知識を破棄する。 マルチモーダルモデルにおけるモダリティ処理とLLMの低結合に着想を得た,スケーラブルなソリューションであるMindBridgeを紹介する。 MindBridgeは数万の知識エントリを編集しても優れたパフォーマンスを実現し、異なるLLMに柔軟に対応できる。
  論文  参考訳（メタデータ） (2025-03-04T15:17:57Z)
• CoME: An Unlearning-based Approach to Conflict-free Model Editing [8.215201299292033]
  大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。 我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T04:55:38Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
  本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。 既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。 このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T07:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。