論文の概要: Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning

• arxiv url: http://arxiv.org/abs/2001.02112v2
• Date: Tue, 21 Sep 2021 14:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 21:28:48.920765
• Title: Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning
• Title（参考訳）: グラフによるマルチタスク学習: 分散ストリーミング機械学習へのアプローチ
• Authors: Roula Nassif, Stefan Vlaski, Cedric Richard, Jie Chen, and Ali H. Sayed
• Abstract要約: マルチタスク学習は帰納的伝達学習のアプローチである。 近年、分散ストリーミング方式でデータを収集する能力が高まっている。 これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
• 参考スコア（独自算出の注目度）: 46.613346075513206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of learning simultaneously several related tasks has received considerable attention in several domains, especially in machine learning with the so-called multitask learning problem or learning to learn problem [1], [2]. Multitask learning is an approach to inductive transfer learning (using what is learned for one problem to assist in another problem) and helps improve generalization performance relative to learning each task separately by using the domain information contained in the training signals of related tasks as an inductive bias. Several strategies have been derived within this community under the assumption that all data are available beforehand at a fusion center. However, recent years have witnessed an increasing ability to collect data in a distributed and streaming manner. This requires the design of new strategies for learning jointly multiple tasks from streaming data over distributed (or networked) systems. This article provides an overview of multitask strategies for learning and adaptation over networks. The working hypothesis for these strategies is that agents are allowed to cooperate with each other in order to learn distinct, though related tasks. The article shows how cooperation steers the network limiting point and how different cooperation rules allow to promote different task relatedness models. It also explains how and when cooperation over multitask networks outperforms non-cooperative strategies.
• Abstract（参考訳）: 複数の関連するタスクを同時に学習する問題は、特にいわゆるマルチタスク学習問題を伴う機械学習や問題学習の学習など、いくつかの領域でかなりの注目を集めています[1],[2]。 マルチタスク学習(multitask learning)は、帰納的伝達学習(ある問題に対して学習したものを使って別の問題を支援する)へのアプローチであり、関連するタスクのトレーニング信号に含まれるドメイン情報を帰納的バイアスとして利用することで、各タスクを個別に学習することに対する一般化性能を向上させるのに役立つ。 このコミュニティでは、すべてのデータが事前に核融合センターで利用可能であると仮定して、いくつかの戦略が導出されている。 しかし、近年では、分散およびストリーミング方式でデータを収集する能力が高まっている。 これには、分散(あるいはネットワーク)システム上のストリーミングデータから、共同で複数のタスクを学ぶための新しい戦略の設計が必要となる。 本稿では,ネットワーク上の学習と適応のためのマルチタスク戦略について概説する。 これらの戦略の作業仮説は、エージェントが互いに協力し合い、異なるが関連するタスクを学ぶことができるというものである。 この記事では、協調がネットワーク制限点をどのように制御し、異なる協調ルールが異なるタスク関連性モデルを促進するかを示す。 また、マルチタスクネットワークでの協調が非協力的戦略を上回った場合についても説明している。

関連論文リスト

• Efficient Computation Sharing for Multi-Task Visual Scene Understanding [16.727967046330125]
  マルチタスク学習は、異なるタスク間で知識を共有することでリソースを保存できる。 複数の視覚的タスクを実行するための効率と精度のバランスをとる新しいパラメータ共有フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:47:40Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Gap Minimization for Knowledge Sharing and Transfer [24.954256258648982]
  本稿では,学習課題間の距離の直感的かつ新しい尺度であるエンファンパシーギャップの概念を紹介する。 性能ギャップをデータおよびアルゴリズムに依存した正規化器とみなすことができ、モデルの複雑さを制御し、より詳細な保証をもたらす。 私たちはこの原理を2つのアルゴリズムでインスタンス化する: 1. gapBoost, トランスファーラーニングのためのソースとターゲットドメイン間のパフォーマンスギャップを明示的に最小化する新規で原則化されたブースティングアルゴリズム; 2. gapMTNN, ギャップ最小化をセマンティック条件マッチングとして再構成する表現学習アルゴリズム
  論文  参考訳（メタデータ） (2022-01-26T23:06:20Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
  マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。 マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。 深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-07-20T23:26:16Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。