論文の概要: Continual Learning in Linear Classification on Separable Data

• arxiv url: http://arxiv.org/abs/2306.03534v1
• Date: Tue, 6 Jun 2023 09:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 16:13:28.887879
• Title: Continual Learning in Linear Classification on Separable Data
• Title（参考訳）: データの線形分類における連続学習
• Authors: Itay Evron, Edward Moroshko, Gon Buzaglo, Maroun Khriesh, Badea Marjieh, Nathan Srebro, Daniel Soudry
• Abstract要約: 正規化の弱い学習は、逐次極大問題の解法に還元されることを示す。 次に、様々な設定の下で、忘れることやその他の関心事に関する上限を策定する。 正規化スケジューリングや重み付けといった,一般的なトレーニングプラクティスに対する実践的な影響について論じる。
• 参考スコア（独自算出の注目度）: 34.78569443156924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze continual learning on a sequence of separable linear classification tasks with binary labels. We show theoretically that learning with weak regularization reduces to solving a sequential max-margin problem, corresponding to a special case of the Projection Onto Convex Sets (POCS) framework. We then develop upper bounds on the forgetting and other quantities of interest under various settings with recurring tasks, including cyclic and random orderings of tasks. We discuss several practical implications to popular training practices like regularization scheduling and weighting. We point out several theoretical differences between our continual classification setting and a recently studied continual regression setting.
• Abstract（参考訳）: 二項ラベルを用いた分割可能な線形分類タスクの連続学習を解析した。 本稿では,弱い正規化による学習が,POCS(Projection Onto Convex Sets)フレームワークの特別な場合に対応する,逐次最大行列問題の解に還元されることを理論的に示す。 次に,タスクの循環順序やランダム順序など,反復的なタスクを伴う様々な設定下で,忘れられた他の関心値の上限を開発する。 正規化スケジューリングや重み付けといった,一般的なトレーニングプラクティスに対する実践的な影響について論じる。 我々は,我々の連続的分類設定と最近研究された連続的回帰設定との間に,いくつかの理論的相違点を指摘する。

関連論文リスト

• On the Convergence of Continual Learning with Adaptive Methods [4.351356718501137]
  適応型非連続学習法(NCCL)を提案する。 提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T14:28:27Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference [0.0]
  そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。 制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
  論文  参考訳（メタデータ） (2022-10-26T08:06:57Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。