論文の概要: DOW-KE: Anchor-Free Multi-Layer Knowledge Editing via Direct End-to-End Weight Optimization
- arxiv url: http://arxiv.org/abs/2608.16932v1
- Date: Wed, 05 Aug 2026 09:56:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.981179
- Title: DOW-KE: Anchor-Free Multi-Layer Knowledge Editing via Direct End-to-End Weight Optimization
- Title（参考訳）: DOW-KE: 直接エンドツーエンドのウェイト最適化によるアンカーフリー多層知識編集
- Abstract要約: DOW-KEは、単一の原則に基づいて構築されたアンカーフリーなメソッドであり、最適化されているものは正確にデプロイされたものでなければならない。
2つのデータセットと3つのモデルで大規模なシーケンシャルな編集を行う場合、DOW-KEはスコアと近隣の特定度が最も高い。
- 参考スコア（独自算出の注目度）: 23.989016366701232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-layer locate-then-edit methods for knowledge editing first optimize target residual-stream activations (anchors) at selected layers, then realize them layer by layer as weight updates. This pipeline optimizes an intermediate representation but deploys multi-layer weight updates whose joint effect through the true forward pass is never itself optimized: regardless of how anchors are set or propagated, each update comes from a local solve, so propagation-induced attenuation and distortion go uncorrected, leaving a closure gap between anchor targets and realized edits. We propose DOW-KE, an anchor-free method built on a single principle: what is optimized must be exactly what is deployed. DOW-KE backpropagates the final editing objective through the complete model, jointly optimizing the updates of all edited layers so cross-layer propagation and coupling enter every gradient step. The same principle dictates where preservation resides: embedding the preservation projection in the update parameterization, inside the computation graph, makes every gradient act on the deployed update; post-hoc constraints would reopen the gap, and the constrained search keeps edits clear of protected knowledge. In large-scale sequential editing on two datasets and three models, DOW-KE achieves the highest overall Score and neighborhood Specificity in five of six model-dataset settings among the evaluated baselines.
- Abstract（参考訳）: 知識編集のための多層位置編集手法は,まず,選択した層における残差ストリームの活性化(アンカー)を最適化し,重み更新として層ごとに実現する。
このパイプラインは中間表現を最適化するが、真の前方通過による結合効果が必ずしも最適化されないマルチレイヤの重み更新をデプロイする。アンカーの設定や伝播の方法に関わらず、各更新は局所的な解決から来るため、伝搬誘起減衰と歪みは補正されず、アンカーターゲット間のクロージャギャップを保ち、編集を実現する。
DOW-KEは、単一の原則に基づいて構築されたアンカーフリーなメソッドであり、最適化されているものは正確にデプロイされたものでなければならない。
DOW-KEは、完全なモデルを通じて最終的な編集目標をバックプロパゲートし、編集されたすべてのレイヤの更新を共同で最適化する。
計算グラフ内の更新パラメータ化に保存プロジェクションを埋め込むことで、デプロイされた更新にすべての勾配が作用する。
2つのデータセットと3つのモデルに対する大規模な逐次編集において、DOW-KEは評価されたベースラインのうち6つのモデルデータセット設定のうち5つの中で、スコアと近隣特定度が最も高い。
関連論文リスト
- Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms [41.71279032037811]
本稿では,大規模ニューラルネットワークのパラメータ効率向上のためのデータ適応手法を提案する。
我々のアプローチは、純粋なレイヤローカルアダプタを低ランク更新原子の共有クエリ可能なメモリに置き換える。
論文 参考訳（メタデータ） (2026-05-08T19:32:43Z) - From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing [36.28139456174708]
LLMパラメータの編集方法は、通常、ターゲット層における理想的なターゲット隠れ状態の計算に依存する。
本稿では,後方展開を前方伝播に置き換える,シンプルでエレガントな代替案を提案する。
本手法は,初期目標隠れ状態の計算や,その後の編集パイプラインの他のコンポーネントに干渉することなく,単純である。
論文 参考訳（メタデータ） (2026-05-01T02:39:47Z) - Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。
スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。
我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文 参考訳（メタデータ） (2026-04-21T06:27:18Z) - ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding [0.0]
自己投機的復号化(Self-speculative decoding)は、出力品質を犠牲にすることなく生成を高速化するように設計された大規模言語モデルの推論手法である。
本稿では,信頼度に基づく中間層スキップによる自己投機的デコーディングにおいて,動的プラグアンドプレイ方式であるConfLayersを提案する。
論文 参考訳（メタデータ） (2026-04-16T04:39:30Z) - Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。
本稿では,アテンション残余(AttnRes)を提案する。
論文 参考訳（メタデータ） (2026-03-16T09:32:21Z) - TopoEdit: Fast Post-Optimization Editing of Topology Optimized Structures [6.670146926866281]
TopoEditは、物理学を意識したエンジニアリング編集のための高速なポスト最適化エディタである。
最適化トポロジが与えられた後、TopoEditはそれをOATの空間ラテントにエンコードする。
TopoEditは、編集された候補をサンプル毎に秒以下の拡散時間で生成する。
論文 参考訳（メタデータ） (2026-02-25T21:41:44Z) - CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing [88.9067184995168]
マルチモーダル推論と高密度報酬最適化を組み合わせた統合フレームワークCogniEditを提案する。
本手法は,視覚的品質と編集可能性の保存に追従する微粒な命令のバランスをとることによって,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-12-15T12:36:50Z) - Fine-tuning Done Right in Model Editing [83.79661791576103]
大規模な言語モデルを適応するための基礎的な手法であるファインチューニングは、長い間モデル編集には有効ではないと考えられてきた。
ミニバッチ最適化により、標準的な幅優先パイプライン(エポックベース)に微調整を復元する。
我々は、復元された微調整フレームワーク上に構築された、シンプルで効果的なローカライズド編集手法であるLocFT-BFを導出する。
論文 参考訳（メタデータ） (2025-09-26T08:53:13Z) - SPEED: Scalable, Precise, and Efficient Concept Erasure for Diffusion Models [56.83154571623655]
モデルパラメータを直接編集する効率的な概念消去手法であるSPEEDを導入する。
Speedyは、パラメータ更新がターゲット以外の概念に影響しないモデル編集スペースであるnullスペースを検索する。
たった5秒で100のコンセプトを消去しました。
論文 参考訳（メタデータ） (2025-03-10T14:40:01Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - Learning Salient Boundary Feature for Anchor-free Temporal Action
Localization [81.55295042558409]
時間的行動のローカライゼーションはビデオ理解において重要な課題である。
純粋にアンカーフリーな時間的定位法を初めて提案する。
このモデルには,(i)エンドツーエンドのトレーニング可能な基本予測器,(ii)サリエンシベースのリファインメントモジュール,(iii)いくつかの一貫性制約が含まれている。
論文 参考訳（メタデータ） (2021-03-24T12:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。