論文の概要: Linear Mode Connectivity in Multitask and Continual Learning

• arxiv url: http://arxiv.org/abs/2010.04495v1
• Date: Fri, 9 Oct 2020 10:53:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:02:28.677181
• Title: Linear Mode Connectivity in Multitask and Continual Learning
• Title（参考訳）: マルチタスクと連続学習における線形モード接続
• Authors: Seyed Iman Mirzadeh, Mehrdad Farajtabar, Dilan Gorur, Razvan Pascanu, Hassan Ghasemzadeh
• Abstract要約: マルチタスクと連続解が同様に接続されているかを検討する。 マルチタスク・ソリューションとして振る舞うために、逐次学習されたミニマを制約する効果的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 46.98656798573886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual (sequential) training and multitask (simultaneous) training are often attempting to solve the same overall objective: to find a solution that performs well on all considered tasks. The main difference is in the training regimes, where continual learning can only have access to one task at a time, which for neural networks typically leads to catastrophic forgetting. That is, the solution found for a subsequent task does not perform well on the previous ones anymore. However, the relationship between the different minima that the two training regimes arrive at is not well understood. What sets them apart? Is there a local structure that could explain the difference in performance achieved by the two different schemes? Motivated by recent work showing that different minima of the same task are typically connected by very simple curves of low error, we investigate whether multitask and continual solutions are similarly connected. We empirically find that indeed such connectivity can be reliably achieved and, more interestingly, it can be done by a linear path, conditioned on having the same initialization for both. We thoroughly analyze this observation and discuss its significance for the continual learning process. Furthermore, we exploit this finding to propose an effective algorithm that constrains the sequentially learned minima to behave as the multitask solution. We show that our method outperforms several state of the art continual learning algorithms on various vision benchmarks.
• Abstract（参考訳）: 連続(逐次)のトレーニングとマルチタスク(同時)のトレーニングは、しばしば同じ全体的な目的を解決しようとする。 トレーニング体制の主な違いは、連続的な学習が一度にひとつのタスクにしかアクセスできないことにある。 つまり、次のタスクで見つかるソリューションは、もはや以前のタスクではうまく動作しません。 しかし、2つの訓練体制が到達した異なるミニマの関係はよく理解されていない。 なぜ違うのか? 2つの異なるスキームによって達成されるパフォーマンスの違いを説明することのできるローカルな構造はありますか? 最近の研究で、同じタスクの異なるミニマが典型的には低誤差の非常に単純な曲線で連結していることが示され、マルチタスクと連続解が同様に連結であるかどうかを考察する。 我々は、実際にそのような接続は確実に達成でき、さらに興味深いことに、両方に同じ初期化を条件に、線形パスによって実現可能であることを実証的に見出した。 この観察を徹底的に分析し,継続的な学習プロセスにおけるその意義について考察する。 さらに,この知見を活かして,逐次学習したミニマをマルチタスクソリューションとして振る舞うように制約する効果的なアルゴリズムを提案する。 本手法は,様々な視覚ベンチマークにおいて,最先端の連続学習アルゴリズムよりも優れていることを示す。

関連論文リスト

• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• Fast Line Search for Multi-Task Learning [0.0]
  マルチタスク学習における行探索アルゴリズムの新しいアイデアを提案する。 この考え方は、ステップサイズを見つけるためにパラメータ空間の代わりに潜在表現空間を使用することである。 本稿では,MNIST,CIFAR-10,Cityscapesタスクの学習速度を一定とする古典的バックトラック法と勾配法を比較した。
  論文  参考訳（メタデータ） (2021-10-02T21:02:29Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)
• Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning [46.613346075513206]
  マルチタスク学習は帰納的伝達学習のアプローチである。 近年、分散ストリーミング方式でデータを収集する能力が高まっている。 これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
  論文  参考訳（メタデータ） (2020-01-07T15:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。