論文の概要: Mitigating Task-Order Sensitivity and Forgetting via Hierarchical Second-Order Consolidation
- arxiv url: http://arxiv.org/abs/2602.02568v1
- Date: Sat, 31 Jan 2026 01:50:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:14.942693
- Title: Mitigating Task-Order Sensitivity and Forgetting via Hierarchical Second-Order Consolidation
- Title（参考訳）: 階層的2次統合によるタスクオーダーの感度と予測の緩和
- Authors: Protik Nag, Krishnan Raghavan, Vignesh Narayanan,
- Abstract要約: ランダムなタスク順序付けによって導入された高分散に対処するために、$textbfHierarchical Taylor Series-based Continual Learning (HTCL)$を導入する。
HTCLはグループ内で最高のタスクシーケンスを特定し、Hessian-regularized Taylor拡張を通じて結果のローカル更新を統合する。
HTCLはパフォーマンスを継続的に向上し、平均精度は7%$から25%$に向上し、最終的な精度の標準偏差はランダムなタスク置換で最大68%$に減少する。
- 参考スコア（独自算出の注目度）: 7.51289645756884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce $\textbf{Hierarchical Taylor Series-based Continual Learning (HTCL)}$, a framework that couples fast local adaptation with conservative, second-order global consolidation to address the high variance introduced by random task ordering. To address task-order effects, HTCL identifies the best intra-group task sequence and integrates the resulting local updates through a Hessian-regularized Taylor expansion, yielding a consolidation step with theoretical guarantees. The approach naturally extends to an $L$-level hierarchy, enabling multiscale knowledge integration in a manner not supported by conventional single-level CL systems. Across a wide range of datasets and replay and regularization baselines, HTCL acts as a model-agnostic consolidation layer that consistently enhances performance, yielding mean accuracy gains of $7\%$ to $25\%$ while reducing the standard deviation of final accuracy by up to $68\%$ across random task permutations.
- Abstract（参考訳）: ランダムなタスク順序付けによって引き起こされる高分散に対処するため、保守的で二階のグローバルな統合と高速な局所的適応を結合するフレームワークである。
タスク順序効果に対処するため、HTCLはグループ内で最高のタスクシーケンスを特定し、Hessian-regularized Taylor拡張を通じて結果のローカル更新を統合する。
このアプローチは自然に$L$レベルの階層に拡張され、従来のシングルレベルCLシステムではサポートされない方法で、マルチスケールの知識統合を可能にする。
さまざまなデータセットとリプレイ、正規化ベースラインにわたって、HTCLは、パフォーマンスを継続的に向上するモデルに依存しない統合レイヤとして機能し、平均精度は7\%$から25\%$に向上すると同時に、最終的な精度の標準偏差を680\%$に低減する。
関連論文リスト
- Cost Optimization in Production Line Using Genetic Algorithm [0.5482532589225553]
生産ラインにおけるコスト最適タスクスケジューリングへの遺伝的アルゴリズム(GA)アプローチ
先行構造の3つのクラスに関する実験 - 密結合, 疎結合, 疎結合, 未結合。
論文 参考訳（メタデータ） (2026-01-02T13:36:42Z) - Improved High-probability Convergence Guarantees of Decentralized SGD [74.39742894097348]
平均二乗誤差(MSE)と同じ条件下で,$mathttDSGD$がHPに収束することを示す。
改良された分析によりユーザ数が線形アップし,$mathttDSGD$がHPの意味で性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-10-07T17:15:08Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。
また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。
我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-07T15:57:56Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。
FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。
フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。
既存手法に対するベンチマーク収束の実験結果
論文 参考訳（メタデータ） (2024-08-18T16:50:39Z) - Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps [4.471962177124311]
分散機械学習では、異なるデータを持つ複数のエージェントにまたがる線形変数が大きな課題となる。
本稿では,原変数上のラグランジアン収束を実現するフレームワークは,エージェント間通信を必要としないことを示す。
論文 参考訳（メタデータ） (2024-07-02T22:14:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。