論文の概要: Are Greedy Task Orderings Better Than Random in Continual Linear Regression?

• arxiv url: http://arxiv.org/abs/2510.19941v1
• Date: Wed, 22 Oct 2025 18:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.627153
• Title: Are Greedy Task Orderings Better Than Random in Continual Linear Regression?
• Title（参考訳）: 連続線形回帰におけるグレディタスク命令はランダムよりも優れているか?
• Authors: Matan Tsipory, Ran Levinstein, Itay Evron, Mark Kong, Deanna Needell, Daniel Soudry,
• Abstract要約: 線形回帰のための連続学習におけるタスク順序の解析を行う。 我々は,連続タスク間の相違性を極度に最大化する順序付けに着目する。 我々は,タスク間の平均損失の点で,欲求順序はランダムな順序よりも早く収束することを示した。
• 参考スコア（独自算出の注目度）: 23.706463629642155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze task orderings in continual learning for linear regression, assuming joint realizability of training data. We focus on orderings that greedily maximize dissimilarity between consecutive tasks, a concept briefly explored in prior work but still surrounded by open questions. Using tools from the Kaczmarz method literature, we formalize such orderings and develop geometric and algebraic intuitions around them. Empirically, we demonstrate that greedy orderings converge faster than random ones in terms of the average loss across tasks, both for linear regression with random data and for linear probing on CIFAR-100 classification tasks. Analytically, in a high-rank regression setting, we prove a loss bound for greedy orderings analogous to that of random ones. However, under general rank, we establish a repetition-dependent separation. Specifically, while prior work showed that for random orderings, with or without replacement, the average loss after $k$ iterations is bounded by $\mathcal{O}(1/\sqrt{k})$, we prove that single-pass greedy orderings may fail catastrophically, whereas those allowing repetition converge at rate $\mathcal{O}(1/\sqrt[3]{k})$. Overall, we reveal nuances within and between greedy and random orderings.
• Abstract（参考訳）: 学習データの連成実現可能性を考慮した連続学習におけるタスク順序の分析を行った。 我々は、連続するタスク間の相違性を鮮やかに最大化する順序付けに重点を置いている。 カッツマルツ法文学の道具を用いて、そのような順序付けを形式化し、それらを取り巻く幾何学的および代数的直観を発達させる。 実験により,CIFAR-100分類タスクにおける線形回帰と線形回帰の両方において,不規則な順序付けがタスク間の平均損失の点で,ランダムな順序付けよりも高速に収束することが実証された。 解析的に、高階回帰環境では、無作為な順序に対する損失境界がランダムな順序と類似していることを証明する。 しかし、一般の階級では、繰り返し依存的な分離を確立する。 特に、事前の研究では、置換の有無にかかわらず、$k$ の反復後の平均損失は $\mathcal{O}(1/\sqrt{k})$ で有界である一方で、単一パスの欲求順序が破滅的に失敗することを証明する一方、反復を許すものは $\mathcal{O}(1/\sqrt[3]{k})$ で収束することを示した。 全体として、欲求と無作為な秩序の間のニュアンスを明らかにする。

関連論文リスト

• Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification [12.699007098398805]
  逐次的勾配降下(GD)による複数線形分類タスクの連続学習について検討する。 タスクが連分可能であれば、トレーニングされた線形分類器の(オフラインの)最大マルジン解への方向性収束を示す。 また、タスクがもはや関節分離不能な場合を分析し、循環順序で訓練されたモデルが関節損失関数の唯一の最小値に収束することを示す。
  論文  参考訳（メタデータ） (2025-04-17T07:35:48Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• How catastrophic can catastrophic forgetting be in linear regression? [30.702863017223457]
  モデルがその後のタスクのトレーニング後に、以前のタスクの本当のラベルをどれだけ忘れているかを分析する。 線形設定における連続学習と他の2つの研究領域の関連性を確立する。
  論文  参考訳（メタデータ） (2022-05-19T14:28:40Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。