論文の概要: Unifying and Beyond the Theory of Pervasive Capability Degradation in LLM Post-training SFT from Feature Interference

• arxiv url: http://arxiv.org/abs/2611.05003v2
• Date: Thu, 05 Nov 2026 09:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.383139
• Title: Unifying and Beyond the Theory of Pervasive Capability Degradation in LLM Post-training SFT from Feature Interference
• Title（参考訳）: LLM後SFTにおける機能干渉による拡張能力劣化理論の統一と超越
• Abstract要約: Pervasive Capability Degradation (PCD)は、教師付き微調整(SFT)が事前訓練中に得られる一般的な能力を損なう現象である。 重畳下における特徴干渉を基礎としたPCDのボトムアップ幾何理論を開発した。 そして、1ホットの監督下でのクロスエントロピーは、PCDをそれ自体で解決する上で構造的に制限されていると論じる。 3つのモデルファミリーと14のSFTタスクにまたがって、AIGISはターゲットタスクと広汎な機能において、各パラダイムの代表的メソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 28.24632224083753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pervasive Capability Degradation (PCD) refers to the phenomenon in which supervised fine-tuning (SFT), while adapting a large language model (LLM) to a target task, often erodes the general capabilities acquired during pre-training. Prevailing explanations attribute PCD to macroscopic distribution shift and therefore lack microscopic manipulability, leaving existing mitigation methods without a complete theoretical foundation. In this paper, we first develop a bottom-up geometric theory of PCD grounded in feature interference under superposition: narrow-domain SFT data disrupt the almost-orthogonal feature structure formed during pre-training, and the resulting interference drives activations across decision hyperplanes in the output Laguerre-Voronoi geometry, flipping predictions on general tasks. This theory unifies existing methods into six paradigms and reveals both the source of their efficacy and their limitations. We then argue that cross-entropy under one-hot supervision is structurally limited in resolving PCD on its own, and accordingly propose the AEGIS loss, which directly constrains the drift of activation margins along all competing token directions, thereby decoupling interference suppression from task adaptation. Across 3 model families and 14 SFT tasks, AEGIS outperforms representative methods of every paradigm on target tasks and pervasive capabilities simultaneously, at only about 1.3 times the computational cost of standard SFT. Its generality, scalability, and mechanistic interpretability offer a new perspective on mitigating PCD.
• Abstract（参考訳）: Pervasive Capability Degradation (PCD) は、大言語モデル(LLM)を目標タスクに適応させ、事前トレーニング中に取得した一般的な能力を損なう現象を指す。 一般的な説明では、PCDはマクロな分布シフトに起因し、そのため顕微鏡的なマニピュラビリティが欠如しており、既存の緩和法は完全な理論的基礎を持たないままである。 本稿では、まず、重畳による特徴干渉に基づくPCDのボトムアップ幾何理論を開発する:狭領域SFTデータにより、事前学習中に形成されるほぼ直交的な特徴構造が破壊され、その結果の干渉は、出力ラゲール・ヴォロニ幾何における決定超平面間の活性化を駆動し、一般タスクの予測を反転させる。 この理論は既存の手法を6つのパラダイムに統一し、その効果の源泉と限界の両方を明らかにする。 そこで,本研究では,PCDを単独で解決する上で,ワンホットの監督下でのクロスエントロピーが構造的に制限されていることを論じるとともに,各トークン方向のアクティベーションマージンのドリフトを直接的に抑制するAEGISロスを提案し,タスク適応から干渉抑制を分離する。 3つのモデルファミリーと14のSFTタスクにまたがって、AIGISは標準SFTの計算コストの1.3倍の計算コストで、目標タスクと拡張能力の同時実行において、すべてのパラダイムの代表的メソッドを上回ります。 その汎用性、スケーラビリティ、機械論的解釈性は、PCDを緩和する新しい視点を提供する。

関連論文リスト

• Physics-Transfer Learning: A Physics-Constrained Theory for Zero-Shot Generalization Along the Ladder of Complexity [1.8119312186036625]
  ゼロショット一般化のための物理制約付き学習理論である物理変換学習を提案する。 量子系における励起状態エネルギー予測と古典系における動的遷移予測についてPTを評価する。 これらの結果は、データスカース学習問題の一般化を設計、診断、制御するためのモデルに依存しないフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-09-22T16:00:17Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning [65.67266333751569]
  現在のLRM(Large Reasoning Models)は、空間推論タスクにおいて顕著な汎用性を示すが、性能は著しく劣る。 本研究では,内的推論プロセスを対象とした自己指導型強化学習フレームワークを提案する。 このラベルのない整合性トレーニングは,地道的な監督によって訓練されたモデルの精度にアプローチし,多様なタスクやデータ領域にまたがる同様の一般化を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-10T10:50:06Z)
• Stage-wise Distortion-Perception Traversal in Zero-shot Inverse Problems with Diffusion Models [23.436324468000198]
  歪み知覚(D-P)トレードオフはベイズ逆問題の基本現象である。 ゼロショット逆問題における単一拡散モデルを用いてD-Pトラバースを実現するための段階的フレームワークを提案する。 提案手法はMAP-RPSと呼ばれ,MMSE解を近似したMAP推定段階から始まる。 我々はMAP-RPSを潜伏空間に拡張し、LMAP-RPSを得る。
  論文  参考訳（メタデータ） (2026-05-27T16:35:23Z)
• Information as Maximum-Caliber Deviation: A bridge between Integrated Information Theory and the Free Energy Principle [51.56484100374058]
  この研究は、情報が有限時間地平線上の制約付き最大曲率(MaxCal)パスアンサンブルから実現された力学の偏差$$$として定義されることを示唆している。 この定義の下では、IIT 3.0の中心となる原因/影響レパートリーは、MaxCalの変分原理から直接現れる。 情報$$は、付随する予測符号化モデルの下での予測誤差と同値である。
  論文  参考訳（メタデータ） (2026-05-03T07:22:55Z)
• Geometrically Regularized Transfer Learning with On-Manifold and Off-Manifold Perturbation [0.0]
  MAADAは、敵の摂動をオン・マニフォールドとオフ・マニフォールドに分解する新しいフレームワークである。 また,MAADAは,教師なし設定と少数ショット設定の両方において,既存の敵・適応手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-21T07:13:09Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。