論文の概要: Multiplicative Orthogonal Sequential Editing for Language Models

• arxiv url: http://arxiv.org/abs/2601.07873v1
• Date: Sun, 11 Jan 2026 04:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.885062
• Title: Multiplicative Orthogonal Sequential Editing for Language Models
• Title（参考訳）: 言語モデルのための乗法直交シーケンス編集
• Authors: Hao-Xiang Xu, Jun-Yu Ma, Ziqi Peng, Yuhao Sun, Zhen-Hua Ling, Jia-Chen Gu,
• Abstract要約: 我々は,Multiplicative Orthogonal Sequential Editing (MOSE)と呼ばれる新しい知識編集パラダイムを提案する。 現在の方法と比較して、MOSEはシーケンシャルな編集性能が12.08%向上し、下流タスク全体で95.73%の一般的な能力を維持している。
• 参考スコア（独自算出の注目度）: 55.42748430481554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to efficiently modify the internal knowledge of large language models (LLMs) without compromising their other capabilities. The prevailing editing paradigm, which appends an update matrix to the original parameter matrix, has been shown by some studies to damage key numerical stability indicators (such as condition number and norm), thereby reducing editing performance and general abilities, especially in sequential editing scenario. Although subsequent methods have made some improvements, they remain within the additive framework and have not fundamentally addressed this limitation. To solve this problem, we analyze it from both statistical and mathematical perspectives and conclude that multiplying the original matrix by an orthogonal matrix does not change the numerical stability of the matrix. Inspired by this, different from the previous additive editing paradigm, a multiplicative editing paradigm termed Multiplicative Orthogonal Sequential Editing (MOSE) is proposed. Specifically, we first derive the matrix update in the multiplicative form, the new knowledge is then incorporated into an orthogonal matrix, which is multiplied by the original parameter matrix. In this way, the numerical stability of the edited matrix is unchanged, thereby maintaining editing performance and general abilities. We compared MOSE with several current knowledge editing methods, systematically evaluating their impact on both editing performance and the general abilities across three different LLMs. Experimental results show that MOSE effectively limits deviations in the edited parameter matrix and maintains its numerical stability. Compared to current methods, MOSE achieves a 12.08% improvement in sequential editing performance, while retaining 95.73% of general abilities across downstream tasks. The code is available at https://github.com/famoustourist/MOSE.
• Abstract（参考訳）: 知識編集は、大きな言語モデル(LLM)の内部知識を、他の能力を損なうことなく効率的に修正することを目的としている。 従来のパラメータ行列に更新行列を付加する一般的な編集パラダイムは、主要な数値安定性指標(条件数やノルムなど)にダメージを与え、特に逐次的な編集シナリオにおいて、編集性能と一般的な能力を低下させる。 その後の手法はいくつか改善されているが、これらは追加フレームワーク内に留まり、この制限に根本的な対処を行っていない。 この問題を解決するために、統計的・数学的両面から解析し、元の行列を直交行列で乗算しても行列の数値安定性は変わらないと結論付ける。 これに触発されて、従来の加法編集パラダイムとは違って、乗法的直交順序編集(MOSE)と呼ばれる乗法的編集パラダイムが提案されている。 具体的には、まず行列更新を乗法形式で導出し、次に新しい知識を直交行列に組み込み、元のパラメータ行列で乗算する。 これにより、編集行列の数値安定性は変化せず、編集性能と汎用性を維持することができる。 我々はMOSEを現在の知識編集手法と比較し、3つの異なるLLMの編集性能と汎用能力の両方に与える影響を体系的に評価した。 実験の結果,MOSEはパラメータ行列の偏差を効果的に抑制し,数値安定性を維持できることがわかった。 現在の方法と比較して、MOSEはシーケンシャルな編集性能が12.08%向上し、下流タスク全体で95.73%の一般的な能力を維持している。 コードはhttps://github.com/famoustourist/MOSEで公開されている。

関連論文リスト

• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
  大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-02-25T03:56:49Z)
• Lifelong Knowledge Editing requires Better Regularization [11.14177136208272]
  そこで我々は,2段階の微調整プロセスとして,一般的な位置編集手法を定式化する。 モデル劣化は,内部アクティベーションの過度な最適化と,編集行列の連続的ノルム成長によって生じることを示す。 これらの単純で効果的な正規化手法を編集プロセスのキーポイントに適用することで、モデル劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-02-03T18:59:14Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 逐次編集における条件数抑制を応用した「PRUNE(Preper bouNd for Editing)」というフレームワークを提案する。 その結果、PRUNEは、逐次モデル編集において、編集性能を効果的に維持しながら、汎用性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。