論文の概要: PaRT: Parallel Learning Towards Robust and Transparent AI
- arxiv url: http://arxiv.org/abs/2201.09534v1
- Date: Mon, 24 Jan 2022 09:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 02:39:00.268920
- Title: PaRT: Parallel Learning Towards Robust and Transparent AI
- Title（参考訳）: PaRT:ロバストで透明なAIに向けた並列学習
- Authors: Mahsa Paknezhad, Hamsawardhini Rengarajan, Chenghao Yuan, Sujanya
Suresh, Manas Gupta, Savitha Ramasamy, Lee Hwee Kuan
- Abstract要約: 本稿では,堅牢で透明なAIのための並列学習手法を提案する。
ディープニューラルネットワークは複数のタスクで並列にトレーニングされ、各タスクはネットワークリソースのサブセットでのみトレーニングされる。
ネットワークは、共有表現を通じて、他のタスクのタスクから学習した知識を実際に利用していることを示す。
- 参考スコア（独自算出の注目度）: 4.160969852186451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper takes a parallel learning approach for robust and transparent AI.
A deep neural network is trained in parallel on multiple tasks, where each task
is trained only on a subset of the network resources. Each subset consists of
network segments, that can be combined and shared across specific tasks. Tasks
can share resources with other tasks, while having independent task-related
network resources. Therefore, the trained network can share similar
representations across various tasks, while also enabling independent
task-related representations. The above allows for some crucial outcomes. (1)
The parallel nature of our approach negates the issue of catastrophic
forgetting. (2) The sharing of segments uses network resources more
efficiently. (3) We show that the network does indeed use learned knowledge
from some tasks in other tasks, through shared representations. (4) Through
examination of individual task-related and shared representations, the model
offers transparency in the network and in the relationships across tasks in a
multi-task setting. Evaluation of the proposed approach against complex
competing approaches such as Continual Learning, Neural Architecture Search,
and Multi-task learning shows that it is capable of learning robust
representations. This is the first effort to train a DL model on multiple tasks
in parallel. Our code is available at https://github.com/MahsaPaknezhad/PaRT
- Abstract（参考訳）: 本稿では,堅牢で透明なAIのための並列学習手法を提案する。
ディープニューラルネットワークは、複数のタスクに並行してトレーニングされ、各タスクはネットワークリソースのサブセットでのみトレーニングされる。
各サブセットはネットワークセグメントで構成されており、特定のタスク間で組み合わせて共有することができる。
タスクは他のタスクとリソースを共有でき、独立したタスク関連のネットワークリソースを持つ。
したがって、訓練されたネットワークは様々なタスクで同様の表現を共有でき、同時に独立したタスク関連表現も可能となる。
以上はいくつかの重要な結果をもたらす。
1)本手法の並列性は破滅的忘れの問題を否定するものである。
2)セグメントの共有はネットワーク資源をより効率的に利用する。
3)ネットワークは、共有表現を通して、他のタスクのタスクから学んだ知識を実際に使っていることを示す。
(4)個別のタスク関連および共有表現の検証を通じて,マルチタスク環境におけるネットワークおよびタスク間の関係の透明性を提供する。
連続学習,ニューラルアーキテクチャ探索,マルチタスク学習といった複雑な競合するアプローチに対する提案手法の評価は,堅牢な表現を学習可能であることを示している。
これは、複数のタスクでDLモデルを並列にトレーニングする最初の試みである。
私たちのコードはhttps://github.com/MahsaPaknezhad/PaRTで利用可能です。
関連論文リスト
- OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。
提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。
私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
論文 参考訳（メタデータ） (2023-11-07T14:00:09Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - MultiTask-CenterNet (MCN): Efficient and Diverse Multitask Learning
using an Anchor Free Approach [0.13764085113103217]
マルチタスク学習は機械学習における一般的なアプローチである。
本稿では,複数の知覚関連タスクを同時に学習するためのCenterNetアンカーフリーアプローチを強化する。
論文 参考訳（メタデータ） (2021-08-11T06:57:04Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z) - One Network Fits All? Modular versus Monolithic Task Formulations in
Neural Networks [36.07011014271394]
単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。
このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
論文 参考訳（メタデータ） (2021-03-29T01:16:42Z) - Navigating the Trade-Off between Multi-Task Learning and Learning to
Multitask in Deep Neural Networks [9.278739724750343]
マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。
マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。
深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-07-20T23:26:16Z) - Auxiliary Learning by Implicit Differentiation [54.92146615836611]
補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。
そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。
まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。
第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
論文 参考訳（メタデータ） (2020-06-22T19:35:07Z) - MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。
本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
論文 参考訳（メタデータ） (2020-01-19T21:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。