論文の概要: Hierarchical Orthogonal Residual Spread for Precise Massive Editing in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.11441v1
• Date: Fri, 16 Jan 2026 17:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.575507
• Title: Hierarchical Orthogonal Residual Spread for Precise Massive Editing in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高精度な大量編集のための階層的直交残差展開
• Authors: Xiaojie Gu, Guangxu Chen, Yuheng Yang, Jingxin Han, Andi Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域で例外的なパフォーマンスを示すが、それらは重大な安全上の懸念に直面している。 既存のモデル編集手法は、新しい知識と古い知識を混ぜ合わせた情報マトリックスの最適化に重点を置いていることが多い。 対照的に、我々は情報行列の階層的直交残差(hierarchical Orthogonal Residual SprEad)に注意を移す。
• 参考スコア（独自算出の注目度）: 4.6275122716245205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit exceptional performance across various domains, yet they face critical safety concerns. Model editing has emerged as an effective approach to mitigate these issues. Existing model editing methods often focus on optimizing an information matrix that blends new and old knowledge. While effective, these approaches can be computationally expensive and may cause conflicts. In contrast, we shift our attention to Hierarchical Orthogonal Residual SprEad of the information matrix, which reduces noisy gradients and enables more stable edits from a different perspective. We demonstrate the effectiveness of our method HORSE through a clear theoretical comparison with several popular methods and extensive experiments conducted on two datasets across multiple LLMs. The results show that HORSE maintains precise massive editing across diverse scenarios. The code is available at https://github.com/XiaojieGu/HORSE
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で例外的なパフォーマンスを示すが、それらは重大な安全上の懸念に直面している。 モデル編集はこれらの問題を緩和するための効果的なアプローチとして登場した。 既存のモデル編集手法は、新しい知識と古い知識を混ぜ合わせた情報マトリックスの最適化に重点を置いていることが多い。 効果はあるものの、これらのアプローチは計算に高価であり、矛盾を引き起こす可能性がある。 対照的に、我々は情報行列の階層的直交残差(hierarchical Orthogonal Residual SprEad)に注意を移す。 提案手法の有効性を,いくつかの一般的な手法との明確な理論的比較と,複数のLLMにまたがる2つのデータセットによる広範な実験により実証する。 以上の結果から,HORSEは多様なシナリオに対して,高精度な大規模な編集を継続していることがわかった。 コードはhttps://github.com/XiaojieGu/HORSEで公開されている。

関連論文リスト

• Golden Layers and Where to Find Them: Improved Knowledge Editing for Large Language Models Via Layer Gradient Analysis [12.559788353912651]
  固定された黄金層は、サンプルワイド最適層と同様、ほぼ最適な編集性能が得られることを示す。 グラデート・アトリビューションを用いて黄金層を効率的に推定する新しい手法,Layer Gradient Analysis (LGA)を提案する。
  論文  参考訳（メタデータ） (2026-02-22T22:55:11Z)
• Multiplicative Orthogonal Sequential Editing for Language Models [55.42748430481554]
  我々は,Multiplicative Orthogonal Sequential Editing (MOSE)と呼ばれる新しい知識編集パラダイムを提案する。 現在の方法と比較して、MOSEはシーケンシャルな編集性能が12.08%向上し、下流タスク全体で95.73%の一般的な能力を維持している。
  論文  参考訳（メタデータ） (2026-01-11T04:09:32Z)
• What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models [88.398085358514]
  DICEは、原画像と編集画像の局所的な差異を検出するために設計されたモデルである。 自己監督、塗布ネットワークからの蒸留、全監督を利用する戦略を用いて訓練されている。 DICEは一貫性のある編集を効果的に識別し、異なる編集モデルによって生成された画像を人間の判断と強く相関して効果的に評価する。
  論文  参考訳（メタデータ） (2025-05-26T18:00:10Z)
• Mask Factory: Towards High-quality Synthetic Data Generation for Dichotomous Image Segmentation [70.95380821618711]
  Dichotomous Image (DIS) タスクは高度に正確なアノテーションを必要とする。 現在の生成モデルとテクニックは、シーンのずれ、ノイズによるエラー、限られたトレーニングサンプルの変動といった問題に苦慮している。 多様な正確なデータセットを生成するためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-26T06:37:25Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Spectral Editing of Activations for Large Language Model Alignment [36.31656466355112]
  大規模言語モデル(LLM)は、非現実的あるいは偏見のあるコンテンツを生成するなど、望ましくない振る舞いを示すことが多い。 本稿では、入力表現を方向に向けて投影するための新しい推測時間編集手法、すなわち、アクティベーションのスペクトル編集(SEA)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T22:28:23Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。