論文の概要: Distributed Continual Learning with CoCoA in High-dimensional Linear Regression

• arxiv url: http://arxiv.org/abs/2312.01795v1
• Date: Mon, 4 Dec 2023 10:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:26:37.410743
• Title: Distributed Continual Learning with CoCoA in High-dimensional Linear Regression
• Title（参考訳）: 高次元線形回帰におけるCoCoAを用いた分散連続学習
• Authors: Martin Hellkvist, Ay\c{c}a \"Oz\c{c}elikkale, Anders Ahl\'en
• Abstract要約: 興味の信号が時間とともに特性の変化を示すシナリオで推定する。 特に、異なる分布を持つデータなど、異なるタスクが順次到着する連続的な学習問題を考察する。 ネットワーク上でモデルパラメータと対応する特徴を分散する分散学習アルゴリズムCOCOAについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider estimation under scenarios where the signals of interest exhibit change of characteristics over time. In particular, we consider the continual learning problem where different tasks, e.g., data with different distributions, arrive sequentially and the aim is to perform well on the newly arrived task without performance degradation on the previously seen tasks. In contrast to the continual learning literature focusing on the centralized setting, we investigate the problem from a distributed estimation perspective. We consider the well-established distributed learning algorithm COCOA, which distributes the model parameters and the corresponding features over the network. We provide exact analytical characterization for the generalization error of COCOA under continual learning for linear regression in a range of scenarios, where overparameterization is of particular interest. These analytical results characterize how the generalization error depends on the network structure, the task similarity and the number of tasks, and show how these dependencies are intertwined. In particular, our results show that the generalization error can be significantly reduced by adjusting the network size, where the most favorable network size depends on task similarity and the number of tasks. We present numerical results verifying the theoretical analysis and illustrate the continual learning performance of COCOA with a digit classification task.
• Abstract（参考訳）: 興味の信号が時間とともに特性の変化を示すシナリオで推定する。 特に、異なる分布を持つデータなど、異なるタスクが順次到着する連続学習問題を考察し、前述したタスクのパフォーマンス低下を伴わずに、新たに到着したタスクをうまく実行することを目的としている。 集中型設定に着目した連続的な学習文献とは対照的に,分散推定の観点から問題を考察する。 本稿では,モデルパラメータと対応する特徴をネットワーク上で分散する,確立された分散学習アルゴリズムcocoaについて考察する。 我々は,COCOAの線形回帰の連続学習における一般化誤差について,パラメータ化が特に関心のあるシナリオにおいて,正確な解析的特徴を与える。 これらの分析結果は, 一般化誤差がネットワーク構造, タスク類似度, タスク数にどのように依存するかを特徴づけ, それらの依存関係がどのように絡み合っているかを示す。 特に,ネットワークサイズを調整することで,タスクの類似度やタスク数に依存するネットワークサイズを調整することで,一般化誤差を大幅に低減できることを示す。 本稿では,理論解析を検証し,数値分類タスクによるcocoaの連続学習性能を示す。

関連論文リスト

• Distributed Networked Multi-task Learning [3.10770247120758]
  複数の線形モデル推定タスクを考慮に入れた分散マルチタスク学習方式を提案する。 推定器の収束とタスク関係を有限時間で解析する。
  論文  参考訳（メタデータ） (2024-10-04T13:10:31Z)
• An MRP Formulation for Supervised Learning: Generalized Temporal Difference Learning Models [20.314426291330278]
  従来の統計的学習では、データポイントは独立して同じ分布(d)であると仮定される。 本稿では、データポイントを相互接続したものとして認識し、データモデリングにマルコフ報酬プロセス(MRP)を用いる、対照的な視点を示す。 我々は、強化学習(RL)における政治政策評価問題として、典型的教師付き学習を再構成し、一般化時間差学習アルゴリズム(TD)を解法として導入する。
  論文  参考訳（メタデータ） (2024-04-23T21:02:58Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
  タスクが順次到着する継続的学習問題に着目する。 目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。 分散学習アルゴリズムCOCOAについて検討する。
  論文  参考訳（メタデータ） (2022-11-30T13:49:43Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。