論文の概要: From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing
- arxiv url: http://arxiv.org/abs/2605.00358v1
- Date: Fri, 01 May 2026 02:39:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.82678
- Title: From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing
- Title（参考訳）: 後方展開から前方再生へ:LLMパラメータ編集におけるターゲット構築の再検討
- Authors: Wei Liu, Hongkai Liu, Zhiying Deng, Yee Whye Teh, Wee Sun Lee,
- Abstract要約: LLMパラメータの編集方法は、通常、ターゲット層における理想的なターゲット隠れ状態の計算に依存する。
本稿では,後方展開を前方伝播に置き換える,シンプルでエレガントな代替案を提案する。
本手法は,初期目標隠れ状態の計算や,その後の編集パイプラインの他のコンポーネントに干渉することなく,単純である。
- 参考スコア（独自算出の注目度）: 36.28139456174708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM parameter editing methods commonly rely on computing an ideal target hidden-state at a target layer (referred as anchor point) and distributing the target vector to multiple preceding layers (commonly known as backward spreading) for cooperative editing. Although widely used for a long time, its underlying basis have not been systematically investigated. In this paper, we first conduct a systematic study of its foundations, which helps clarify its capability boundaries, practical considerations, and potential failure modes. Then, we propose a simple and elegant alternative that replaces backward spreading with forward-propagation. Instead of optimizing the target at the last editing layer, we optimize the anchor point at the first editing layer, and then propagate it forward to obtain accurate and mutually compatible target hidden-states for all subsequent editing layers. This approach achieves the same computational complexity as existing methods while producing more accurate layer-wise targets. Our method is simple, without interfering with either the computation of the initial target hidden state or any other components of the subsequent editing pipeline, and thus constituting a benefit for a wide range of LLM parameter editing methods.
- Abstract（参考訳）: LLMパラメータの編集方法は、通常、ターゲット層(アンカーポイントと呼ばれる)における理想的なターゲット隠れ状態の計算に頼り、ターゲットベクトルを複数の先行層(一般に後方展開と呼ばれる)に分散して、協調的な編集を行う。
長い間広く用いられてきたが、その基盤は体系的に研究されていない。
本稿ではまず,その機能境界,実践的考察,潜在的な障害モードを明らかにするために,その基盤の体系的研究を行う。
そこで我々は,後方展開を前方伝播に置き換える,シンプルでエレガントな代替案を提案する。
最後の編集層でターゲットを最適化する代わりに、第1編集層でのアンカーポイントを最適化し、その後、全ての編集層に対して正確で相互に互換性のあるターゲット隠れ状態を得るよう前方に伝播する。
このアプローチは既存の手法と同じ計算複雑性を達成し、より正確なレイヤーワイドターゲットを生成する。
本手法は,初期目標隠れ状態の計算やその後の編集パイプラインの他のコンポーネントに干渉することなく,簡便であり,広い範囲のLLMパラメータ編集手法の利点を構成する。
関連論文リスト
- Golden Layers and Where to Find Them: Improved Knowledge Editing for Large Language Models Via Layer Gradient Analysis [12.559788353912651]
固定された黄金層は、サンプルワイド最適層と同様、ほぼ最適な編集性能が得られることを示す。
グラデート・アトリビューションを用いて黄金層を効率的に推定する新しい手法,Layer Gradient Analysis (LGA)を提案する。
論文 参考訳（メタデータ） (2026-02-22T22:55:11Z) - Fine-tuning Done Right in Model Editing [83.79661791576103]
大規模な言語モデルを適応するための基礎的な手法であるファインチューニングは、長い間モデル編集には有効ではないと考えられてきた。
ミニバッチ最適化により、標準的な幅優先パイプライン(エポックベース)に微調整を復元する。
我々は、復元された微調整フレームワーク上に構築された、シンプルで効果的なローカライズド編集手法であるLocFT-BFを導出する。
論文 参考訳（メタデータ） (2025-09-26T08:53:13Z) - Rethinking the Residual Distribution of Locate-then-Editing Methods in Model Editing [14.958557185068]
モデル編集は、大規模言語モデルの知識をターゲットとする更新を可能にする。
location-then-editメソッドはまず重要なレイヤを識別し、ターゲットの編集に基づいて最後のクリティカルレイヤで残余を計算する。
これらの手法のコアメカニズムである残留分布は、編集精度を損なう重みシフト誤差をもたらす。
そこで我々は,位置列編集手法を強化するBLUE戦略を提案する。
論文 参考訳（メタデータ） (2025-02-06T03:20:17Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳（メタデータ） (2023-05-22T16:00:00Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。