論文の概要: Learning Rates for Multi-task Regularization Networks

• arxiv url: http://arxiv.org/abs/2104.00453v1
• Date: Thu, 1 Apr 2021 13:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:21:59.812705
• Title: Learning Rates for Multi-task Regularization Networks
• Title（参考訳）: マルチタスク正規化ネットワークの学習率
• Authors: Jie Gui and Haizhang Zhang
• Abstract要約: マルチタスク学習は、人工知能とビッグデータの時代に直面する機械学習の重要なトレンドである。 本稿では,ベクトル値再現核ヒルベルト空間と行列値再生核の理論に基づくマルチタスク学習の学習率推定に関する数学的解析を行う。 タスク数の増加に伴い、マルチタスク学習アルゴリズムの一般化能力が実際に影響を受けることが明らかになった。
• 参考スコア（独自算出の注目度）: 7.799917891986168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning is an important trend of machine learning in facing the era of artificial intelligence and big data. Despite a large amount of researches on learning rate estimates of various single-task machine learning algorithms, there is little parallel work for multi-task learning. We present mathematical analysis on the learning rate estimate of multi-task learning based on the theory of vector-valued reproducing kernel Hilbert spaces and matrix-valued reproducing kernels. For the typical multi-task regularization networks, an explicit learning rate dependent both on the number of sample data and the number of tasks is obtained. It reveals that the generalization ability of multi-task learning algorithms is indeed affected as the number of tasks increases.
• Abstract（参考訳）: マルチタスク学習は、人工知能とビッグデータの時代に直面する機械学習の重要なトレンドである。 様々なシングルタスク機械学習アルゴリズムの学習率推定に関する膨大な研究にもかかわらず、マルチタスク学習の並列処理は少ない。 本稿では,ベクトル値再現核ヒルベルト空間と行列値再生核の理論に基づくマルチタスク学習の学習率推定に関する数学的解析を行う。 典型的なマルチタスク正規化ネットワークでは、サンプルデータ数とタスク数の両方に依存する明示的な学習率が得られる。 タスク数の増加に伴い、マルチタスク学習アルゴリズムの一般化能力が実際に影響を受けることが明らかになった。

関連論文リスト

• Is Multi-Task Learning an Upper Bound for Continual Learning? [26.729088618251282]
  本稿では,特定のデータ拡張のクラスに対して,各タスクが不変表現を学習することに対応する,連続的な自己指導型学習環境を提案する。 連続学習は、MNIST、CIFAR-10、CIFAR-100など、様々なベンチマークデータセットでマルチタスク学習を上回ることが多い。
  論文  参考訳（メタデータ） (2022-10-26T15:45:11Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning [46.613346075513206]
  マルチタスク学習は帰納的伝達学習のアプローチである。 近年、分散ストリーミング方式でデータを収集する能力が高まっている。 これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
  論文  参考訳（メタデータ） (2020-01-07T15:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。