論文の概要: What Is the Influence of Task Order in Continual Learning? An Empirical Study and Order-Aware Evaluation for Motion Forecasting

• arxiv url: http://arxiv.org/abs/2611.04309v1
• Date: Tue, 03 Nov 2026 04:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-10 04:41:14.311043
• Title: What Is the Influence of Task Order in Continual Learning? An Empirical Study and Order-Aware Evaluation for Motion Forecasting
• Title（参考訳）: 連続学習におけるタスク順序の影響 : 動作予測のための実証的研究と順序認識評価
• Abstract要約: タスク順序は、現在のタスクエラーと後方転送の変動の65%から91%を占める。 ほとんどの順序で、現在のタスクエラーおよび後方転送における先頭アルゴリズムは、ランナアップの標準偏差の1つの複製範囲内にある。 これらの結果は、注文分布を宣言し、注文解決、開始タスク解決、ウォームスタート、最終エラーを集計スコアとともに報告するベンチマークを要求する。
• 参考スコア（独自算出の注目度）: 49.50369316307991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aggregate scores for continual learning algorithms rest on a distribution over task orders that is rarely stated. We formulate algorithm comparison as an expectation over a declared order distribution, which separates training variation from order variation, and apply it to motion forecasting with four road-layout tasks from the INTERACTION dataset, all 24 task orders, four algorithms, and three training replicates (288 runs). Task order accounts for 65\% to 91\% of the variation in current-task error and backward transfer, and 90\% to 99\% of this order effect comes from the identity of the starting task: the smallest task cannot be learned from a cold start. Beyond the first stage, the order effect is comparable to training variability. In most orders, the leading algorithm in current-task error and backward transfer is within one replicate standard deviation of the runner-up. Backward transfer depends on the order mainly through its reference term, which weights the first task most heavily, so relative improvement and final error identify different leading algorithms for displacement error. A transition-direction descriptor computed from task statistics tracks the position of the smallest task, and weighting orders by it leaves the algorithm ranking unchanged. These results call for benchmarks that declare their order distribution and report order-resolved, starting-task-resolved, warm-start, and final errors alongside aggregate scores. The code and data are available \href{https://anonymous.4open.science/r/task-order-cl-4f7b/}{here}.
• Abstract（参考訳）: 連続学習アルゴリズムのアグリゲートスコアは、ほとんど記述されていないタスク順序よりも分布に依存している。 我々は, 予測された順序分布に対するアルゴリズム比較を, トレーニング変動と順序変化を分離した予測値として定式化し, 4つの道路レイアウトタスクをInterACTIONデータセットから, 24タスク順序, 4アルゴリズム, 3つの訓練再現(288ラン)から予測する動作予測に適用する。 タスクオーダは、現在のタスクエラーと後方転送の変動の65%から91パーセントを占めており、このオーダエフェクトの90%から99パーセントは、開始タスクの同一性から来ている:最小のタスクは、コールドスタートから学べない。 最初の段階を超えて、注文効果はトレーニングの多様性に匹敵する。 ほとんどの順序で、現在のタスクエラーおよび後方転送における先頭アルゴリズムは、ランナアップの標準偏差の1つの複製範囲内にある。 後方転送は、主に参照項を通じて順序に依存するため、最初のタスクが最も重み付けされるため、相対的な改善と最終的なエラーは、変位誤差の異なる主要なアルゴリズムを特定する。 タスク統計から計算された遷移方向記述子は、最小のタスクの位置を追跡し、それによるオーダの重み付けは、アルゴリズムのランク付けをそのまま残す。 これらの結果は、注文分布を宣言し、注文解決、開始タスク解決、ウォームスタート、最終エラーを集計スコアとともに報告するベンチマークを要求する。 コードとデータは \href{https://anonymous.4open.science/r/task-order-cl-4f7b/}{here} で利用可能である。

関連論文リスト

• Chain of Thought in Order: Discovering Learning-Friendly Orders for Arithmetic [5.2980803808373516]
  本研究では,デコーダの入力トークンを変換器が算術的タスクを学習するための学習フレンドリーなシーケンスに再順序付けるという,思考の連鎖を解き放つ新しい課題に対処する。 提案したパイプラインは、まず異なる順序で配列されたターゲットシーケンスの混合でトランスフォーマーを訓練し、その後、ベニグオーダーを早い段階で損失が減少しているものと識別する。 4つの順序に敏感な算術的タスクの実験により,10億の候補の中から学習に優しい順序を同定した。
  論文  参考訳（メタデータ） (2025-06-30T14:05:53Z)
• Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
  目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 繰り返しトレーニングを必要とせずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T21:26:50Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
  タスクが順次到着する継続的学習問題に着目する。 目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。 分散学習アルゴリズムCOCOAについて検討する。
  論文  参考訳（メタデータ） (2022-11-30T13:49:43Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。