論文の概要: KLOD: Locality-Preserving Knowledge Editing via Non-Target Distribution Preservation
- arxiv url: http://arxiv.org/abs/2608.27839v1
- Date: Fri, 28 Aug 2026 02:16:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.181392
- Title: KLOD: Locality-Preserving Knowledge Editing via Non-Target Distribution Preservation
- Title（参考訳）: KLOD:非ターゲット分布保存による局所性保存知識編集
- Abstract要約: 微調整ベースの知識編集はシンプルでアーキテクチャに依存しない。
標準のクロスエントロピーは、非ターゲット出力分布の変化を明示的に制限することなく、編集対象確率を増加させる。
我々は、微調整に基づく知識編集のための有界・分布保存目的であるKLODを提案する。
- 参考スコア（独自算出の注目度）: 0.3441021278275805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning-based knowledge editing is simple and architecture-agnostic, but standard cross-entropy increases the edited target probability without explicitly constraining changes in the non-target output distribution. In sequential editing, such unconstrained redistribution can accumulate as distributional drift and contribute to locality degradation. We propose KLOD, a bounded and distribution-preserving objective for fine-tuning-based knowledge editing that separates the intended target update from distributions that should remain stable. KLOD stops target amplification once a probability threshold is reached, while preserving the target-excluded non-target distribution at target positions and the full next-token distribution at prefix positions. Experiments on CounterFact and ZsRE with Llama3-8B-Instruct and Qwen2.5-7B-Instruct show that KLOD substantially mitigates locality degradation while maintaining high edit reliability. The target probability threshold further provides a controllable Generalization--Locality trade-off. Ablation, multi-seed, and distributional KL analyses support the interpretation that KLOD's locality gains are associated with preserving output distributions rather than simply weakening the edit. Code is available on GitHub https://github.com/Hostoday/KLOD .
- Abstract（参考訳）: 微調整に基づく知識編集は単純かつアーキテクチャに依存しないが、標準のクロスエントロピーは、非ターゲットの出力分布の変化を明示的に制限することなく、編集対象の確率を増加させる。
逐次的な編集では、そのような制約のない再分配が分布のドリフトとして蓄積され、局所性劣化に寄与する。
KLODは微調整に基づく知識編集のための有界・分布保存の目的であり,目標更新を安定に維持すべき分布から分離する。
KLODは、目標位置における目標外非目標分布と、プレフィックス位置における全次次トーケン分布を保存しつつ、確率しきい値に達すると目標増幅を停止する。
Llama3-8B-Instruct と Qwen2.5-7B-Instruct による CounterFact と ZsRE の実験により、KLOD は高い編集信頼性を維持しながら局所性劣化を著しく軽減することが示された。
目標確率閾値は、さらに制御可能な一般化−局所トレードオフを提供する。
アブレーション、マルチシード、分散KL分析は、KLODのローカリティゲインが単に編集を弱めるのではなく、出力分布を保存することに関連しているという解釈を支持する。
コードはGitHub https://github.com/Hostoday/KLOD で公開されている。
関連論文リスト
- Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning [43.981833556858135]
完全出力分布から正当性条件付き応答分布への保存制約を狭める条件正規化フレームワークを提案する。
CoKLは,既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好である。
論文 参考訳（メタデータ） (2026-08-03T06:10:33Z) - Unbiased Open World Regularization for Fair Self-Supervised Learning [11.74837809839014]
自己教師付き学習モデルは、データセットの急激なバイアスの学習に影響を受けやすい。
エンコーダのみのフレームワークであるUnbiased Open World Regularization (UOWReg)を提案する。
我々はこの枠組みをガウス空間と球面ラテント空間の両方にわたって実証的に検証する。
論文 参考訳（メタデータ） (2026-07-24T09:51:22Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。
対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
論文 参考訳（メタデータ） (2026-03-03T03:34:06Z) - Deep Time-series Forecasting Needs Kernelized Moment Balancing [56.619037429652984]
深層時系列予測は、予測と地上の真実の分布を整合させることを目的とした分布バランス問題として定式化することができる。
我々は、カーネル化されたモーメントバランス(KMB-DF)による直接予測を提案する。
複数のモデルとデータセットにわたる実験により、KMB-DFは予測精度を一貫して改善し、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-31T13:20:18Z) - STABLE: Gated Continual Learning for Large Language Models [0.0]
STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。
各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。
Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
論文 参考訳（メタデータ） (2025-10-17T16:14:05Z) - Conformal Prediction under Levy-Prokhorov Distribution Shifts: Robustness to Local and Global Perturbations [41.94295877935867]
分布シフトをモデル化するために、Levy-Prokhorov (LP) の曖昧性集合を用いる。
共形予測とLP曖昧性集合とのリンクは自然なものであることを示す。
我々は、分布シフトの下で有効であるような頑健な共形予測区間を構築する。
論文 参考訳（メタデータ） (2025-02-19T21:18:11Z) - Beyond Discrepancy: A Closer Look at the Theory of Distribution Shift [27.99789694038377]
この研究は、ソースからターゲット分布への分類器の分布シフトの理論を詳しく調べる。
対象からラベル付けされていないデータだけで十分である場合と,ラベル付けされたターゲットデータが必要な場合を示す。
いずれの場合も、我々は大規模なサンプル状態において厳密な理論的保証を提供する。
論文 参考訳（メタデータ） (2024-05-29T15:00:19Z) - Distribution-Aware Calibration for Object Detection with Noisy Bounding Boxes [58.2797274877934]
そこで我々はDISCO(Distribution-aware CalibratiOn)を提案する。
分類, 局所化, 解釈可能性を改善するために, 3つの分布認識技術を開発した。
論文 参考訳（メタデータ） (2023-08-23T09:20:05Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。