論文の概要: Tackling Heterogeneity in Medical Federated learning via Vision
Transformers
- arxiv url: http://arxiv.org/abs/2310.09444v1
- Date: Fri, 13 Oct 2023 23:36:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 20:22:26.403713
- Title: Tackling Heterogeneity in Medical Federated learning via Vision
Transformers
- Title(参考訳): 視覚トランスフォーマーによる医学連関学習における不均一性への取り組み
- Authors: Erfan Darzi, Yiqing Shen, Nanna M. Sijtsema, P.M.A van Ooijen
- Abstract要約: 視覚変換器を用いることで、全体的な精度において大きなトレードオフを伴わずに、未表現のクライアントの性能を大幅に向上させることができることを示す。
この改善は、Vision変換器が入力データ内の長距離依存関係をキャプチャする能力に起因している。
- 参考スコア(独自算出の注目度): 4.779196219827507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization-based regularization methods have been effective in addressing
the challenges posed by data heterogeneity in medical federated learning,
particularly in improving the performance of underrepresented clients. However,
these methods often lead to lower overall model accuracy and slower convergence
rates. In this paper, we demonstrate that using Vision Transformers can
substantially improve the performance of underrepresented clients without a
significant trade-off in overall accuracy. This improvement is attributed to
the Vision transformer's ability to capture long-range dependencies within the
input data.
- Abstract(参考訳): 最適化に基づく正規化手法は,医学フェデレーション学習におけるデータ不均一性による課題,特に未表現クライアントの性能向上に有効である。
しかし、これらの手法はモデル全体の精度を低下させ、収束速度を遅くする。
本稿では,視覚トランスフォーマを使用して,全体的な精度のトレードオフを伴わずに,低表示クライアントの性能を大幅に向上できることを実証する。
この改善は、vision transformerが入力データ内の長距離依存性をキャプチャする能力に起因する。
関連論文リスト
- DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
Deformable Attention Transformer (DAT++)を提案する。
DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
論文 参考訳(メタデータ) (2023-09-04T08:26:47Z) - Adversarial and Random Transformations for Robust Domain Adaptation and
Generalization [9.995765847080596]
ランダムデータ拡張による整合性トレーニングを単純に適用することで、ドメイン適応(DA)と一般化(DG)の最先端結果が得られることを示す。
逆変換とランダム変換を組み合わせた手法は、複数のDAおよびDGベンチマークデータセット上で最先端の手法より優れている。
論文 参考訳(メタデータ) (2022-11-13T02:10:13Z) - The Lighter The Better: Rethinking Transformers in Medical Image
Segmentation Through Adaptive Pruning [26.405243756778606]
本稿では,医療画像セグメンテーションのための変換器に適応型プルーニングを適用し,軽量ネットワークAPFormerを提案する。
私たちの知る限りでは、医療画像解析タスクのためのトランスフォーマープルーニングに関する最初の研究である。
我々は,アダプティブプルーニングが他のハイブリッド/トランスフォーマー方式の性能向上のためのプラグイン-n-playモジュールとして機能することを,アブレーション研究を通じて証明した。
論文 参考訳(メタデータ) (2022-06-29T05:49:36Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳(メタデータ) (2022-05-19T17:34:18Z) - XAI for Transformers: Better Explanations through Conservative
Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。
我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文 参考訳(メタデータ) (2022-02-15T10:47:11Z) - Plug-In Inversion: Model-Agnostic Inversion for Vision with Data
Augmentations [61.95114821573875]
単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。
ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
論文 参考訳(メタデータ) (2022-01-31T02:12:45Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳(メタデータ) (2021-11-30T18:57:02Z) - Convolutional Nets Versus Vision Transformers for Diabetic Foot Ulcer
Classification [19.338350044289736]
本稿では、確立された畳み込みニューラルネットワーク(CNN)と、最近導入された糖尿病足の潰瘍分類のための視覚変換器を比較した。
実験によると、現代のCNNは、低データ状態においてトランスフォーマーよりも優れたパフォーマンスを保っている。
論文 参考訳(メタデータ) (2021-11-12T18:19:57Z) - Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under
Data Augmentation [25.493902939111265]
オフ・ポリティクス強化学習アルゴリズムにおけるデータ強化における不安定性の原因について検討する。
本稿では,このアルゴリズムを拡張の下で安定化するための,シンプルで効果的な手法を提案する。
本手法は,画像ベースRLの最先端手法と競合し,ConvNetの安定性とサンプル効率を大幅に向上させる。
論文 参考訳(メタデータ) (2021-07-01T17:58:05Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳(メタデータ) (2021-04-26T13:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。