論文の概要: Task Vector Descent: Learning from Non-IID Batches

• arxiv url: http://arxiv.org/abs/2610.05402v1
• Date: Sun, 04 Oct 2026 17:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 14:02:29.489386
• Title: Task Vector Descent: Learning from Non-IID Batches
• Title（参考訳）: Task Vector Descent: 非IIDバッチから学ぶ
• Abstract要約: モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
• 参考スコア（独自算出の注目度）: 73.36333480977952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in continual learning is to acquire new knowledge without forgetting what the model has already learned. This challenge appears in language model training when training data comes from various domain-, user-, or task-specific distributions that are encountered unevenly over time. In such settings, successive minibatches are temporally clustered by distribution instead of being sampled i.i.d. from the overall data mixture. Training on temporally clustered data induces a stability-plasticity tradeoff. Adapting the model to the active distribution can improve the model on the active distribution but may lead to a performance degradation on data it previously trained on. We find that this tradeoff intensifies with longer exposure to the same distribution. We therefore ask if the parameter displacement produced by such a sequence (the task vector) should be fully retained or applied partially. We compare applying the full displacement ($λ=1$) with partial integration, which scales the task vector by $λ$ before applying it to the continuing model and scales the optimizer state by the same coefficient. Across continual pretraining, pretraining from random initialization, supervised post-training, and reinforcement post-training, we find that intermediate values of $λ$ often improve average continuing-model performance relative to full integration, particularly after longer same-distribution sequences. In continual-pretraining experiments with both controlled streams and naturally defined adaptation sequences, task-vector scaling outperforms full integration at the matched learning rate, showing that its benefits are not reproduced by learning-rate scaling alone.
• Abstract（参考訳）: 継続的学習における中心的な課題は、モデルがすでに学んだことを忘れずに、新しい知識を取得することである。 この課題は、トレーニングデータが時間とともに不均一に遭遇するさまざまなドメイン、ユーザ、タスク固有の分散から来るとき、言語モデルのトレーニングに現れます。 このような設定では、連続したミニバッチは、全体データ混合物からサンプリングされるのではなく、分布によって時間的にクラスタ化される。 時間的にクラスタ化されたデータのトレーニングは、安定性と塑性のトレードオフを引き起こす。 モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 このトレードオフは、同じディストリビューションにもっと長い露出で強化されることに気付きました。 したがって、そのようなシーケンス(タスクベクトル)によって生成されるパラメータの変位が完全に保持されるか、部分的に適用されるべきかどうかを問う。 完全変位(λ=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルをλ$でスケールし、同じ係数でオプティマイザ状態をスケールする。 連続事前訓練, ランダム初期化, 教師付き後訓練, 強化後訓練により, λ$の中間値が, 完全積分に対する平均継続モデル性能を向上することがしばしば見出された。 制御ストリームと自然に定義された適応シーケンスの両方による連続的事前学習実験では、タスクベクトルスケーリングは一致した学習速度で完全に統合され、学習速度スケーリング単独でその利点が再現されないことを示す。

関連論文リスト

• Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks [16.76819088768813]
  拡散確率モデル(Denoising Diffusion Probabilistic Models)は、各更新を現在のノイズ状態に近い状態に保ちながら、繰り返しdenoisingによってサンプルを生成する。 モデルのクリーンな予測が有益である場合でも,標準拡散サンプリングは早期の誤りを保存する可能性があることを示す。 自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-09-08T16:45:52Z)
• Task-conditioned Ensemble of Expert Models for Continuous Learning [9.973727349235261]
  既存のモデルの性能を維持するために,タスク条件付きモデルアンサンブルを提案する。 この方法は、タスクメンバーシップ情報に基づくエキスパートモデルのアンサンブルを含む。 実験は提案手法の利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-04-11T15:27:29Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。