論文の概要: Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification

• arxiv url: http://arxiv.org/abs/2609.19985v1
• Date: Thu, 17 Sep 2026 09:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.210595
• Title: Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
• Title（参考訳）: 過去、未来、そして一度に
• Abstract要約: 新しいタスクの微調整基盤モデルは、必然的に破滅的な忘れ込みに苦しむ。 我々は、JAN空間直交性を実現する純粋にポストホックでチューニングに依存しない重み補正フレームワークを導入する。 本手法は, 基礎となる微調整プロセスに干渉することなく, 歴史的知識の漏洩を著しく回復させる。
• 参考スコア（独自算出の注目度）: 37.64342887660276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning foundation models on new tasks inevitably suffer from catastrophic forgetting. While existing works attempt to mitigate this on the basis of parameter-efficient fine-tuning methods, they adopted an overly restrictive Subspace Orthogonality condition. In this paper, we introduce a purely post-hoc and tuning-agnostic weight rectification framework that achieves Parameter Space Orthogonality, which is the necessary and sufficient condition for preserving historical performance to the first order. By projecting parameter updates into the JAcobian NUll Space (JANUS), our method significantly recovers compromised historical knowledge without interfering with the underlying fine-tuning process. To overcome the local validity of the Jacobian approximation, we further propose a Multi-step Adaptive Rectification mechanism that utilizes the JANUS shift to dynamically verify the valid trust region and adjust step sizes. Coupled with our proposed ghost projection, ghost orientation comparison, and sequence-level singular value decomposition compression techniques, JANUS also achieves great temporal and spatial efficiency. Experiments demonstrate that JANUS seamlessly integrates with various fine-tuning methods, significantly mitigating the stability-plasticity dilemma by recovering historical knowledge while preserving downstream task adaptation.
• Abstract（参考訳）: 新しいタスクの微調整基盤モデルは、必然的に破滅的な忘れ込みに苦しむ。 既存の研究はパラメータ効率のよい微調整法に基づいてこれを緩和しようとするが、過度に制限的な部分空間直交条件を採用した。 本稿では,歴史的パフォーマンスを第1次に保存するために必要なパラメータ空間直交性を実現する,純粋にポストホックかつチューニングに依存しない重み補正フレームワークを提案する。 JAcobian NUll Space (JANUS) にパラメータ更新を投影することにより,本手法は基礎となる微調整プロセスに干渉することなく,漏洩した歴史的知識を著しく回復する。 また,ジャコビアン近似の局所的妥当性を克服するために,JANUSシフトを利用して有効な信頼領域を動的に検証し,ステップサイズを調整する多段階適応整流機構を提案する。 提案したゴーストプロジェクション,ゴーストオリエンテーション比較,シーケンスレベルの特異値分解圧縮技術と組み合わせて,JANUSは時間的・空間的効率も高い。 実験により、JANUSは様々な微調整手法とシームレスに統合され、下流タスク適応を保ちながら歴史的知識を回復し、安定性と塑性のジレンマを著しく軽減することが示された。

関連論文リスト

• Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
  Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
  論文  参考訳（メタデータ） (2026-05-27T13:53:14Z)
• JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
  Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。 空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。 実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
  論文  参考訳（メタデータ） (2026-03-04T06:15:09Z)
• Provably Safe Model Updates [6.7544474785403885]
  確実に安全なモデル更新のためのフレームワークを導入します。 パラメータ化された抽象領域(orthotopes, zonotopes)に問題を緩和すると、抽出可能な原始双対の定式化が得られることを示す。 これにより、安全なドメインにプロジェクションすることで、更新(使用するデータやアルゴリズムに依存しない)の効率的な認証が可能になる。
  論文  参考訳（メタデータ） (2025-12-01T17:19:53Z)
• Beyond Confidence: Adaptive and Coherent Decoding for Diffusion Language Models [64.92045568376705]
  コヒーレントコンテキストデコーディング(Coherent Contextual Decoding, CCD)は、2つのコアイノベーションに基づいて構築された新しい推論フレームワークである。 CCDは、歴史的文脈を活用してシーケンスコヒーレンスを高める軌道修正機構を採用している。 拡散ステップに基づく厳密なアロケーションの代わりに,各ステップのアンマスク予算を動的に調整する適応型サンプリング戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-26T09:49:48Z)
• Orthogonal Low Rank Embedding Stabilization [0.9208007322096532]
  モデル再学習サイクルにまたがる埋め込み空間の不安定さは、下流アプリケーションに重大な課題をもたらす。 本稿では,ユーザ/イテム埋め込み空間の安定化を目的とした,新しい低ランク変換手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T03:15:51Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [29.58798660724693]
  連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、独立して微調整されたモデルを順次統合する。 テスト時間連続モデルマージの新しいフレームワークであるMINGLEを提案する。 MINGLEは堅牢な一般化を実現し、忘れることを大幅に減らし、従来の最先端の手法を平均で7-9%上回っている。
  論文  参考訳（メタデータ） (2025-05-17T07:24:22Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
  拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。 本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T09:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。