論文の概要: Score-Preserving Continual Lasso under Task Shift

• arxiv url: http://arxiv.org/abs/2610.32708v1
• Date: Fri, 23 Oct 2026 14:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.547305
• Title: Score-Preserving Continual Lasso under Task Shift
• Title（参考訳）: タスクシフト下におけるスコア保存連続ラッソ
• Abstract要約: 本研究では,高次元スパース線形回帰に対する連続学習について検討する。 スコア保存連続ラッソ(SP-CL)を提案する。 我々は、過去の情報損失、タスクコンフリクト、現在のタスクの特殊化を区別する総合/BWT/FWT分解を導出する。
• 参考スコア（独自算出の注目度）: 11.360354481935628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to learn from sequential tasks while mitigating catastrophic forgetting when historical data are no longer accessible. We study continual learning for high-dimensional sparse linear regression, where $\ell_1$ regularization creates a difficulty absent from continual ridge regression: that recursively reusing an $\ell_1$-penalized estimator can propagate earlier shrinkage and accumulate regularization bias across tasks. We propose score-preserving continual Lasso (SP-CL), which separates sparse estimation from state transmission by preserving the historical squared-loss score. Under squared loss, its cumulative estimator exactly recovers a full-history Lasso minimizer. When task coefficients coincide, it inherits the full-history sparse rate. For related task-specific coefficients, SP-CL uses a regularized current-task correction that leaves the transmitted state unchanged and attains the offline source-assisted rate under an oracle related-task condition. We also derive Overall/BWT/FWT decompositions that distinguish historical information loss, task conflict, and current-task specialization, and validate the resulting regimes in simulation.
• Abstract（参考訳）: 連続学習(CL)は、歴史的データがもはやアクセスできないときに破滅的な忘れを省きながら、逐次的なタスクから学習することを目的としている。 我々は高次元スパース線形回帰の連続学習について研究し、$\ell_1$正規化は連続尾根回帰の欠如を生じさせる:$\ell_1$-penalized estimator を再帰的に再利用することで、早期の収縮を伝播させ、タスク間の正規化バイアスを蓄積することができる。 歴史的2乗楽譜の保存により,スパース推定と状態伝達を分離したスコア保存連続ラッソ(SP-CL)を提案する。 正方形損失の下では、累積推定器はフルヒストリーのラッソ最小化器を正確に回収する。 タスク係数が一致した場合、それはフルヒストリースパースレートを継承する。 関連するタスク固有係数に対しては、SP-CLは正規化されたカレントタスク補正を使用し、送信された状態は変化せず、オラクル関連タスク条件の下でオフラインソースアシストレートを達成する。 また、過去の情報損失、タスクコンフリクト、現在のタスクの特殊化を区別する総合的/BWT/FWT分解を導出し、シミュレーションの結果の状況を検証する。

関連論文リスト

• Fine-Grained Analysis of Catastrophic Forgetting in Continual Learning via Algorithmic Stability [95.6787772135757]
  我々は,SGD下での人口減少を予測するアルゴリズム的安定性の枠組みを構築した。 我々は,定常的,タスク内減衰,学習速度の連続的減衰を考慮した。 経験的忘れるには、トレーニングセットのサイズ、タスクごとの更新数、タスクの総数、学習時間スケジュール、累積勾配アライメントの影響をキャプチャする境界を導出します。
  論文  参考訳（メタデータ） (2026-10-22T16:54:40Z)
• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• The Sequential Price of Continual Learning [28.30104646642165]
  逐次的なタスク更新は継続的学習には基本的だが、その傾向バイアスは持続的なパフォーマンスコストを課す可能性がある。 分布レベルの忘れ込みと人口減少は、同じ定常限界に収束することを示す。 Jesterのジョークランキングデータセットでは、この理論は自然にユーザーの嗜好に反して生成されるシーケンシャルな価格と、EWCによる減価の両方を正確に定量化している。
  論文  参考訳（メタデータ） (2026-08-30T14:27:18Z)
• ChunkFlow: Towards Continuity-Consistent Chunked Policy Learning [5.727608625370017]
  ChunkFlowは、チャンクポリシーのためのSeam対応のトレーニング・アンド・エグゼクティブフレームワークである。 各チャンクを凍結し、編集可能で、将来のゾーンに分割し、実行時に決定論的重複を適用し、シームと第1、第2の連続性損失で生の予測を訓練する。 CALVIN、LIBERO、および実際のロボットの実験では、低レイテンシ推論による成功-安定トレードオフが改善されている。
  論文  参考訳（メタデータ） (2026-07-14T17:43:25Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Flow-Corrected Thompson Sampling for Non-Stationary Contextual Bandits [3.2848713528308817]
  報酬モデルが時間とともにドリフトする非定常線形文脈帯域について検討する。 本研究では,過去の報酬を現在まで輸送することで,経験を再利用するベイズ的手法であるフロー補正トンプソンサンプリング(fcTS)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T20:52:19Z)
• Recovery Guarantees for Continual Learning of Dependent Tasks: Memory, Data-Dependent Regularization, and Data-Dependent Weights [47.25226184852639]
  連続学習(CL)は、以前に学習したタスクを忘れずに連続的に複数のタスクを学習することに関心がある。 近年の実証的な進歩にもかかわらず、CLの理論的発展はその初期段階にある。 タスク依存を明示的にモデル化するために、非線形回帰タスクを考察し、これらのタスクが現在のタスクのデータが以前のデータの非線形変換であるような方法で依存しているという仮定を提案する。
  論文  参考訳（メタデータ） (2026-04-19T18:55:22Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。