論文の概要: One Network Fits All? Modular versus Monolithic Task Formulations in Neural Networks

• arxiv url: http://arxiv.org/abs/2103.15261v1
• Date: Mon, 29 Mar 2021 01:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 06:17:38.203277
• Title: One Network Fits All? Modular versus Monolithic Task Formulations in Neural Networks
• Title（参考訳）: 1つのネットワークがすべてか? ニューラルネットワークにおけるモジュラー対モノリシックタスク定式化
• Authors: Atish Agarwala, Abhimanyu Das, Brendan Juba, Rina Panigrahy, Vatsal Sharan, Xin Wang, Qiuyi Zhang
• Abstract要約: 単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。 このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
• 参考スコア（独自算出の注目度）: 36.07011014271394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can deep learning solve multiple tasks simultaneously, even when they are unrelated and very different? We investigate how the representations of the underlying tasks affect the ability of a single neural network to learn them jointly. We present theoretical and empirical findings that a single neural network is capable of simultaneously learning multiple tasks from a combined data set, for a variety of methods for representing tasks -- for example, when the distinct tasks are encoded by well-separated clusters or decision trees over certain task-code attributes. More concretely, we present a novel analysis that shows that families of simple programming-like constructs for the codes encoding the tasks are learnable by two-layer neural networks with standard training. We study more generally how the complexity of learning such combined tasks grows with the complexity of the task codes; we find that combining many tasks may incur a sample complexity penalty, even though the individual tasks are easy to learn. We provide empirical support for the usefulness of the learning bounds by training networks on clusters, decision trees, and SQL-style aggregation.
• Abstract（参考訳）: ディープラーニングは、無関係で非常に異なる場合でも、複数のタスクを同時に解決できますか? 基礎となるタスクの表現が単一のニューラルネットワークの学習能力にどのように影響するかを検討する。 例えば、特定のタスクコード属性に対して、明確に分離されたクラスタや決定木によって異なるタスクがエンコードされる場合など、さまざまなタスクを表現する方法において、単一のニューラルネットワークが複合データセットから複数のタスクを同時に学習できることを理論的および実証的に示す。 より具体的には、タスクを符号化するコードのための単純なプログラミングライクな構成のファミリーが、標準的なトレーニングを伴う2層ニューラルネットワークによって学習可能であることを示す。 このような統合されたタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを、より一般的に研究する。 クラスタ上のネットワーク,決定木,SQLスタイルの集約をトレーニングすることで,学習境界の有用性を実証的に支援する。

関連論文リスト

• OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
  複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。 提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。 私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
  論文  参考訳（メタデータ） (2023-11-07T14:00:09Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• PaRT: Parallel Learning Towards Robust and Transparent AI [4.160969852186451]
  本稿では,堅牢で透明なAIのための並列学習手法を提案する。 ディープニューラルネットワークは複数のタスクで並列にトレーニングされ、各タスクはネットワークリソースのサブセットでのみトレーニングされる。 ネットワークは、共有表現を通じて、他のタスクのタスクから学習した知識を実際に利用していることを示す。
  論文  参考訳（メタデータ） (2022-01-24T09:03:28Z)
• Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task [24.618094251341958]
  マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。 本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。 実験により, 現状のアプローチと比較し, その有効性を示した。
  論文  参考訳（メタデータ） (2022-01-07T02:46:47Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。