論文の概要: Multi-Task Distributed Learning using Vision Transformer with Random Patch Permutation

• arxiv url: http://arxiv.org/abs/2204.03500v1
• Date: Thu, 7 Apr 2022 15:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 14:10:57.145535
• Title: Multi-Task Distributed Learning using Vision Transformer with Random Patch Permutation
• Title（参考訳）: ランダムパッチを用いた視覚変換器を用いたマルチタスク分散学習
• Authors: Sangjoon Park and Jong Chul Ye
• Abstract要約: ランダムパッチ置換を用いたマルチタスク分散学習を提案する。 実験の結果,提案手法はマルチタスクコラボレーション,通信効率,プライバシー保護のメリットを著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 46.16527953515863
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The widespread application of artificial intelligence in health research is currently hampered by limitations in data availability. Distributed learning methods such as federated learning (FL) and shared learning (SL) are introduced to solve this problem as well as data management and ownership issues with their different strengths and weaknesses. The recent proposal of federated split task-agnostic (FeSTA) learning tries to reconcile the distinct merits of FL and SL by enabling the multi-task collaboration between participants through Vision Transformer (ViT) architecture, but they suffer from higher communication overhead. To address this, here we present a multi-task distributed learning using ViT with random patch permutation. Instead of using a CNN based head as in FeSTA, p-FeSTA adopts a randomly permuting simple patch embedder, improving the multi-task learning performance without sacrificing privacy. Experimental results confirm that the proposed method significantly enhances the benefit of multi-task collaboration, communication efficiency, and privacy preservation, shedding light on practical multi-task distributed learning in the field of medical imaging.
• Abstract（参考訳）: 人工知能の健康研究への応用は、現在、データ可用性の制限によって妨げられている。 フェデレートラーニング(FL)や共有ラーニング(SL)といった分散学習手法を導入し,この問題を解決するとともに,データ管理やオーナシップの問題にも長所と短所がある。 最近提案されたFeSTA学習は、ビジョントランスフォーマー(ViT)アーキテクチャにより、参加者間のマルチタスクのコラボレーションを可能にすることで、FLとSLの異なるメリットを解明しようとするが、通信オーバーヘッドの増大に悩まされる。 この問題に対処するために,ランダムパッチ置換を用いたマルチタスク分散学習を提案する。 FeSTAのようにCNNベースのヘッドを使用する代わりに、p-FeSTAはランダムに置換された単純なパッチ埋め込みを採用し、プライバシーを犠牲にすることなくマルチタスク学習性能を向上させる。 実験の結果,提案手法は,マルチタスクコラボレーション,コミュニケーション効率,プライバシ保護のメリットを著しく高め,医療画像分野での実用的なマルチタスク分散学習に光を当てた。

関連論文リスト

• FedAuxHMTL: Federated Auxiliary Hard-Parameter Sharing Multi-Task Learning for Network Edge Traffic Classification [9.816810723612653]
  本稿では,FedAuxHMTLという,多タスク学習のための補助的ハードパラメータ共有フレームワークを提案する。 エッジサーバとベースステーション間のモデルパラメータ交換を取り入れ、分散領域のベースステーションがFedAuxHMTLプロセスに参加することを可能にする。 実験により,FedAuxHMTLの有効性を,精度,全地球的損失,通信コスト,計算時間,エネルギー消費の観点から検証し,実証した。
  論文  参考訳（メタデータ） (2024-04-11T16:23:28Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。