論文の概要: Multi-task Supervised Learning via Cross-learning

• arxiv url: http://arxiv.org/abs/2010.12993v3
• Date: Thu, 27 May 2021 01:55:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:35:19.265306
• Title: Multi-task Supervised Learning via Cross-learning
• Title（参考訳）: クロスラーニングによるマルチタスク指導学習
• Authors: Juan Cervino, Juan Andres Bazerque, Miguel Calvo-Fullana and Alejandro Ribeiro
• Abstract要約: 我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
• 参考スコア（独自算出の注目度）: 102.64082402388192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we consider a problem known as multi-task learning, consisting of fitting a set of classifier or regression functions intended for solving different tasks. In our novel formulation, we couple the parameters of these functions, so that they learn in their task specific domains while staying close to each other. This facilitates cross-fertilization in which data collected across different domains help improving the learning performance at each other task. First, we present a simplified case in which the goal is to estimate the means of two Gaussian variables, for the purpose of gaining some insights on the advantage of the proposed cross-learning strategy. Then we provide a stochastic projected gradient algorithm to perform cross-learning over a generic loss function. If the number of parameters is large, then the projection step becomes computationally expensive. To avoid this situation, we derive a primal-dual algorithm that exploits the structure of the dual problem, achieving a formulation whose complexity only depends on the number of tasks. Preliminary numerical experiments for image classification by neural networks trained on a dataset divided in different domains corroborate that the cross-learned function outperforms both the task-specific and the consensus approaches.
• Abstract（参考訳）: 本稿では,異なるタスクを解くことを目的とした分類器や回帰関数の集合を組み込んだマルチタスク学習(multi-task learning)と呼ばれる問題を考える。 新しい定式化では、これらの関数のパラメータを結合することで、互いに親しみながらタスク固有のドメインで学習できるようにします。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロスファーティライズが促進される。 まず、提案したクロスラーニング戦略の利点についていくつかの知見を得るために、2つのガウス変数の手段を推定することを目的とした簡易ケースを提案する。 次に,一般化損失関数のクロスラーニングを行う確率射影勾配アルゴリズムを提案する。 パラメータの数が大きければ、プロジェクションステップは計算的に高価になる。 このような状況を避けるために、双対問題の構造を利用する原始双対アルゴリズムを導出し、複雑性がタスク数にのみ依存する定式化を達成する。 異なる領域に分割されたデータセットでトレーニングされたニューラルネットワークによる画像分類のための予備的な数値実験は、クロスリード関数がタスク固有とコンセンサスの両方のアプローチを上回っていることを裏付ける。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Gap Minimization for Knowledge Sharing and Transfer [24.954256258648982]
  本稿では,学習課題間の距離の直感的かつ新しい尺度であるエンファンパシーギャップの概念を紹介する。 性能ギャップをデータおよびアルゴリズムに依存した正規化器とみなすことができ、モデルの複雑さを制御し、より詳細な保証をもたらす。 私たちはこの原理を2つのアルゴリズムでインスタンス化する: 1. gapBoost, トランスファーラーニングのためのソースとターゲットドメイン間のパフォーマンスギャップを明示的に最小化する新規で原則化されたブースティングアルゴリズム; 2. gapMTNN, ギャップ最小化をセマンティック条件マッチングとして再構成する表現学習アルゴリズム
  論文  参考訳（メタデータ） (2022-01-26T23:06:20Z)
• Learning-to-learn non-convex piecewise-Lipschitz functions [44.6133187924678]
  両機械学習アルゴリズムに適用可能な非タスクであるピースワイズ・リプシッツ関数に対するアルゴリズムのメタラーニングを分析する。 複数のオンライン学習タスクからアルゴリズムのステップサイズの両方を学習する実用的なメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-19T16:22:48Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)
• Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks [30.075430694663293]
  本稿では,2つの線形回帰問題間の伝達学習過程について検討する。 本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
  論文  参考訳（メタデータ） (2020-06-12T08:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。