論文の概要: A Survey of Incremental Transfer Learning: Combining Peer-to-Peer
Federated Learning and Domain Incremental Learning for Multicenter
Collaboration
- arxiv url: http://arxiv.org/abs/2309.17192v1
- Date: Fri, 29 Sep 2023 12:43:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:52:47.088606
- Title: A Survey of Incremental Transfer Learning: Combining Peer-to-Peer
Federated Learning and Domain Incremental Learning for Multicenter
Collaboration
- Title（参考訳）: インクリメンタルトランスファー学習に関する調査:ピアツーピアフェデレーションラーニングとドメインインクリメンタルラーニングを組み合わせた多施設共同学習
- Authors: Yixing Huang, Christoph Bert, Ahmed Gomaa, Rainer Fietkau, Andreas
Maier, Florian Putz
- Abstract要約: データプライバシの制約は、マルチセンターコラボレーションによる高性能なディープラーニングモデルの開発を妨げる。
ウェイトトランスファーメソッドは、生データなしで中間モデルウェイトを共有するため、データのプライバシ制限を回避できる。
モデルを1つの中心から次の中心に移すと、問題を忘れてしまうため、性能低下が観測される。
本研究では、従来のドメイン/タスクインクリメンタル学習フレームワークをインクリメンタルトランスファー学習に適用する。
- 参考スコア（独自算出の注目度）: 6.064986446665161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to data privacy constraints, data sharing among multiple clinical centers
is restricted, which impedes the development of high performance deep learning
models from multicenter collaboration. Naive weight transfer methods share
intermediate model weights without raw data and hence can bypass data privacy
restrictions. However, performance drops are typically observed when the model
is transferred from one center to the next because of the forgetting problem.
Incremental transfer learning, which combines peer-to-peer federated learning
and domain incremental learning, can overcome the data privacy issue and
meanwhile preserve model performance by using continual learning techniques. In
this work, a conventional domain/task incremental learning framework is adapted
for incremental transfer learning. A comprehensive survey on the efficacy of
different regularization-based continual learning methods for multicenter
collaboration is performed. The influences of data heterogeneity, classifier
head setting, network optimizer, model initialization, center order, and weight
transfer type have been investigated thoroughly. Our framework is publicly
accessible to the research community for further development.
- Abstract（参考訳）: データプライバシの制約により、複数の臨床センター間でのデータ共有が制限されるため、マルチセンターコラボレーションによる高性能なディープラーニングモデルの開発が阻害される。
Naive weight Transferメソッドは、生データなしで中間モデルウェイトを共有するため、データのプライバシー制限を回避できる。
しかしながら、モデルが1つの中心から次の中心へ移動する際には、通常、性能低下が観測される。
ピアツーピアのフェデレーション学習とドメインインクリメンタル学習を組み合わせたインクリメンタルトランスファー学習は、データのプライバシ問題を克服し、一方で連続的な学習技術を用いてモデルパフォーマンスを維持することができる。
本研究では、インクリメンタル転送学習に従来のドメイン/タスクインクリメンタル学習フレームワークを適用する。
多施設連携における異なる正規化型連続学習手法の有効性に関する総合的な調査を行った。
データの不均一性,分類器ヘッド設定,ネットワークオプティマイザ,モデル初期化,センタ順序,重み伝達型の影響について検討した。
私たちのフレームワークは、さらなる開発のために研究コミュニティに公開アクセス可能です。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。
最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。
そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
論文 参考訳（メタデータ） (2024-03-08T03:34:18Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - DQRE-SCnet: A novel hybrid approach for selecting users in Federated
Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。
多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。
既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
論文 参考訳（メタデータ） (2021-11-07T15:14:29Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Siloed Federated Learning for Multi-Centric Histopathology Datasets [0.17842332554022694]
本稿では,医学領域における深層学習アーキテクチャのための新しいフェデレーション学習手法を提案する。
局所統計バッチ正規化(BN)層が導入され、協調的に訓練されるが中心に固有のモデルが作られる。
本研究では,Camelyon16およびCamelyon17データセットから抽出した腫瘍組織像の分類法についてベンチマークを行った。
論文 参考訳（メタデータ） (2020-08-17T15:49:30Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳（メタデータ） (2020-06-16T22:49:26Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。