Fugu-MT 論文翻訳(概要): Federated Split Vision Transformer for COVID-19 CXR Diagnosis using Task-Agnostic Training

論文の概要: Federated Split Vision Transformer for COVID-19 CXR Diagnosis using Task-Agnostic Training

arxiv url: http://arxiv.org/abs/2111.01338v2
Date: Wed, 3 Nov 2021 14:49:34 GMT
ステータス: 処理完了
システム内更新日: 2021-11-04 10:46:47.320776
Title: Federated Split Vision Transformer for COVID-19 CXR Diagnosis using Task-Agnostic Training
Title（参考訳）: タスク非依存トレーニングを用いたCOVID-19 CXR診断用フェデレートスプリットビジョントランス
Authors: Sangjoon Park, Gwanghyun Kim, Jeongsol Kim, Boah Kim, Jong Chul Ye
Abstract要約: フェデレートラーニングは、複数の病院で患者のCXRデータを収集することなく、胸部X線(CXR)画像上の新型コロナウイルス診断のためのニューラルネットワークトレーニングを可能にする。直感的に分解可能な構成を持つ最近開発されたディープラーニングアーキテクチャであるVision Transformerは、性能を犠牲にすることなく、分割学習に最適であることを示す。本研究は,医用画像の協調学習におけるTransformerの適合性を確認し,将来的な実世界の実現に向けての道筋をたどるものである。
参考スコア（独自算出の注目度）: 28.309185925167565
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning, which shares the weights of the neural network across clients, is gaining attention in the healthcare sector as it enables training on a large corpus of decentralized data while maintaining data privacy. For example, this enables neural network training for COVID-19 diagnosis on chest X-ray (CXR) images without collecting patient CXR data across multiple hospitals. Unfortunately, the exchange of the weights quickly consumes the network bandwidth if highly expressive network architecture is employed. So-called split learning partially solves this problem by dividing a neural network into a client and a server part, so that the client part of the network takes up less extensive computation resources and bandwidth. However, it is not clear how to find the optimal split without sacrificing the overall network performance. To amalgamate these methods and thereby maximize their distinct strengths, here we show that the Vision Transformer, a recently developed deep learning architecture with straightforward decomposable configuration, is ideally suitable for split learning without sacrificing performance. Even under the non-independent and identically distributed data distribution which emulates a real collaboration between hospitals using CXR datasets from multiple sources, the proposed framework was able to attain performance comparable to data-centralized training. In addition, the proposed framework along with heterogeneous multi-task clients also improves individual task performances including the diagnosis of COVID-19, eliminating the need for sharing large weights with innumerable parameters. Our results affirm the suitability of Transformer for collaborative learning in medical imaging and pave the way forward for future real-world implementations.
Abstract（参考訳）: 顧客間でニューラルネットワークの重みを共有するfederated learningは、データプライバシを維持しながら、大規模な分散データコーパスのトレーニングを可能にすることで、医療分野で注目を集めている。例えば、複数の病院で患者のCXRデータを収集することなく、胸部X線(CXR)画像上の新型コロナウイルス診断のためのニューラルネットワークトレーニングが可能になる。残念ながら、高度に表現力のあるネットワークアーキテクチャを採用すると、重みの交換はネットワーク帯域を素早く消費する。いわゆる分割学習は、ニューラルネットワークをクライアントとサーバに分割することで、この問題を部分的に解決する。しかし、ネットワーク全体の性能を犠牲にすることなく最適な分割を見つける方法は不明である。そこで本研究では,直感的に分解可能な構成の深層学習アーキテクチャであるVision Transformerが,性能を犠牲にすることなく分割学習に最適であることを示す。複数のソースからのCXRデータセットを使用して病院間の実際のコラボレーションをエミュレートする非独立で同一の分散データ分布であっても、提案したフレームワークは、データ分散トレーニングに匹敵するパフォーマンスを実現することができた。さらに,ヘテロジニアスなマルチタスククライアントとともに,covid-19の診断を含む個々のタスクパフォーマンスも向上し,大きな重みを数えられるパラメータで共有する必要がなくなる。本研究は,医療画像における協調学習におけるトランスフォーマーの適合性を検証し,将来的な実世界実装への道を開く。

関連論文リスト

Brain Storm Optimization Based Swarm Learning for Diabetic Retinopathy Image Classification [5.440545944342685]
本稿では,ブレインストーム最適化アルゴリズムを,BSO-SLという名称のSwarm学習フレームワークに統合する。実際の糖尿病網膜症画像分類データセットを用いて,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-24T01:37:20Z)
Connecting the Dots: Graph Neural Network Powered Ensemble and Classification of Medical Images [0.0]
医療画像の深層学習は、大量のトレーニングデータを必要とするため、制限されている。画像フォレスティング変換を用いて、画像を最適にスーパーピクセルに分割する。これらのスーパーピクセルはその後、グラフ構造化データに変換され、特徴の巧妙な抽出と関係のモデリングを可能にする。
論文参考訳（メタデータ） (2023-11-13T13:20:54Z)
FedDCT: Federated Learning of Large Convolutional Neural Networks on Resource Constrained Devices using Divide and Collaborative Training [13.072061144206097]
我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
論文参考訳（メタデータ） (2022-11-20T11:11:56Z)
Learning from partially labeled data for multi-organ and tumor segmentation [102.55303521877933]
本稿では,トランスフォーマーに基づく動的オンデマンドネットワーク(TransDoDNet)を提案する。動的ヘッドにより、ネットワークは複数のセグメンテーションタスクを柔軟に達成することができる。我々はMOTSと呼ばれる大規模にラベル付けされたMulti-Organ and tumorベンチマークを作成し、他の競合相手よりもTransDoDNetの方が優れた性能を示す。
論文参考訳（メタデータ） (2022-11-13T13:03:09Z)
AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning [18.3841463794885]
Split Learning (SL)は、クライアントとサーバの間でモデルのトレーニングを分割することで、クライアントの計算負荷を削減する。 AdaSplitは、帯域幅の削減と異種クライアント間のパフォーマンス向上により、SLをリソースの少ないシナリオに効率的にスケーリングすることを可能にする。
論文参考訳（メタデータ） (2021-12-02T23:33:15Z)
Training robust deep learning models for medical imaging tasks with spectral decoupling [0.0]
スペクトル分離は、強いスプリアス相関を持つデータセット上でニューラルネットワークのトレーニングを可能にする。スペクトルデカップリングで訓練されたネットワークは、異なる中心からのデータセットの重量減衰よりも精度を10パーセント向上させる。その結果、スペクトル分離により、複数の中心にまたがってトレーニング可能なロバストなニューラルネットワークが利用可能であることが判明した。
論文参考訳（メタデータ） (2021-03-31T15:47:01Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文参考訳（メタデータ） (2020-02-09T14:11:50Z)
Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。