論文の概要: ARIA: On the interaction between Architectures, Aggregation methods and Initializations in federated visual classification

• arxiv url: http://arxiv.org/abs/2311.14625v1
• Date: Fri, 24 Nov 2023 17:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 14:22:52.471657
• Title: ARIA: On the interaction between Architectures, Aggregation methods and Initializations in federated visual classification
• Title（参考訳）: ARIA:連合視覚分類におけるアーキテクチャと集約手法と初期化の相互作用について
• Authors: Vasilis Siomos, Sergio Naval-Marimont, Jonathan Passerat-Palmbach, Giacomo Tarroni
• Abstract要約: 第1回ARchitecture-Initialization-Aggregation study and benchmark ARIAs across a range of medical image classification task。 私たちは、現在のプラクティスとは違って、最高のパフォーマンスを達成するために、ARIA要素を一緒に選択する必要があることに気付きました。 結果から,タスク,正規化レイヤの効果,SSL事前トレーニングの有用性などによって,各要素の適切な選択が明らかになった。
• 参考スコア（独自算出の注目度）: 1.4585326585979703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a collaborative training paradigm that allows for privacy-preserving learning of cross-institutional models by eliminating the exchange of sensitive data and instead relying on the exchange of model parameters between the clients and a server. Despite individual studies on how client models are aggregated, and, more recently, on the benefits of ImageNet pre-training, there is a lack of understanding of the effect the architecture chosen for the federation has, and of how the aforementioned elements interconnect. To this end, we conduct the first joint ARchitecture-Initialization-Aggregation study and benchmark ARIAs across a range of medical image classification tasks. We find that, contrary to current practices, ARIA elements have to be chosen together to achieve the best possible performance. Our results also shed light on good choices for each element depending on the task, the effect of normalisation layers, and the utility of SSL pre-training, pointing to potential directions for designing FL-specific architectures and training pipelines.
• Abstract（参考訳）: Federated Learning(FL)は、機密データの交換を排除し、クライアントとサーバ間のモデルパラメータの交換に頼ることによって、クロスインスタンスモデルのプライバシー保護学習を可能にする協調トレーニングパラダイムである。 クライアントモデルの集約方法に関する個々の研究や、最近ではimagenet事前トレーニングのメリットについて、フェデレーションが選択したアーキテクチャが持つ効果や、前述の要素が相互に関連している方法についての理解が不足している。 この目的のために,第1回ARchitecture-Initialization-Aggregation研究と,医療画像分類タスクにおけるARIAのベンチマークを行う。 現在のプラクティスとは違って、最高のパフォーマンスを達成するためには、ARIA要素を一緒に選択する必要があります。 また,タスク,正規化レイヤの効果,SSL事前トレーニングの有用性などによって,各要素の適切な選択について,FL固有のアーキテクチャやトレーニングパイプラインを設計するための潜在的な方向性を示唆した。

関連論文リスト

• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Interfacing Foundation Models' Embeddings [131.0352288172788]
  ファウンデーションモデルの埋め込みと、モダリティと粒度にまたがる統合イメージとデータセットレベルの理解を整合させる汎用インターフェースであるFINDを提案する。 インターリーブド埋め込み空間を考慮したFIND-Benchでは,インターリーブドセグメンテーションと検索のためのCOCOデータセットに新たなトレーニングと評価アノテーションを導入している。
  論文  参考訳（メタデータ） (2023-12-12T18:58:02Z)
• Cross-Silo Federated Learning Across Divergent Domains with Iterative Parameter Alignment [4.95475852994362]
  フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。 我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。 この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-08T16:42:14Z)
• Submodel Partitioning in Hierarchical Federated Learning: Algorithm Design and Convergence Analysis [15.311309249848739]
  階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。 本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。 HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Personalized Federated Learning With Structure [24.566947384179837]
  本研究では,グローバルモデルとパーソナライズドモデルとを同時に学習するための,構造化フェデレーション学習(SFL)フレームワークを提案する。 事前定義された構造とは対照的に、構造学習コンポーネントを追加して構造を自動的に学習することで、我々のフレームワークをさらに強化することができる。
  論文  参考訳（メタデータ） (2022-03-02T02:43:51Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。