Fugu-MT 論文翻訳(概要): FedHeN: Federated Learning in Heterogeneous Networks

論文の概要: FedHeN: Federated Learning in Heterogeneous Networks

arxiv url: http://arxiv.org/abs/2207.03031v1
Date: Thu, 7 Jul 2022 01:08:35 GMT
ステータス: 処理完了
システム内更新日: 2022-07-09 04:34:13.224872
Title: FedHeN: Federated Learning in Heterogeneous Networks
Title（参考訳）: fedhen: ヘテロジニアスネットワークにおける連合学習
Authors: Durmus Alp Emre Acar, Venkatesh Saligrama
Abstract要約: ヘテロジニアスネットワークを用いたフェデレーション学習のための新しい学習レシピを提案する。我々は,高次複雑度デバイスを対象とするトレーニングを導入し,連携した環境で異なるアーキテクチャを共同で訓練する。
参考スコア（独自算出の注目度）: 52.29110497518558
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel training recipe for federated learning with heterogeneous networks where each device can have different architectures. We introduce training with a side objective to the devices of higher complexities to jointly train different architectures in a federated setting. We empirically show that our approach improves the performance of different architectures and leads to high communication savings compared to the state-of-the-art methods.
Abstract（参考訳）: 本稿では,各デバイスが異なるアーキテクチャを持つヘテロジニアスネットワークによるフェデレーション学習のための新しいトレーニングレシピを提案する。我々は,高次複雑度デバイスを対象とするトレーニングを導入し,連合環境で異なるアーキテクチャを共同で訓練する。提案手法は異なるアーキテクチャの性能を向上し、最先端の手法と比較して高い通信節約につながることを実証的に示す。

関連論文リスト

Towards Mitigating Architecture Overfitting in Dataset Distillation [2.7610336610850292]
アーキテクチャ設計とトレーニングスキームの両方において,一般化性能を高めるための一連のアプローチを提案する。提案手法の有効性と汎用性を実証するための広範な実験を行った。
論文参考訳（メタデータ） (2023-09-08T08:12:29Z)
Heterogeneous Continual Learning [88.53038822561197]
本稿では,ネットワークアーキテクチャの変更に伴う継続学習(CL)問題に対処する新しい枠組みを提案する。本研究は, 蒸留ファミリ上に構築し, より弱いモデルが教師の役割を担うような, 新たな環境に適応するものである。また、知識伝達を支援するために、タスク前の視覚的特徴を復元するクイック・ディープ・インバージョン(QDI)を提案する。
論文参考訳（メタデータ） (2023-06-14T15:54:42Z)
Multi-Level Branched Regularization for Federated Learning [46.771459325434535]
本稿では,各局所モデルにおける複数の補助的分岐を,複数の異なるレベルで局所的および大域的ワークをグラフトすることで構築する,新しいアーキテクチャ正規化手法を提案する。従来の手法に比べて精度と効率の点で顕著な性能向上を示す。
論文参考訳（メタデータ） (2022-07-14T13:59:26Z)
Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文参考訳（メタデータ） (2022-06-03T02:21:01Z)
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
論文参考訳（メタデータ） (2021-10-19T12:18:37Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
Joint Search of Data Augmentation Policies and Network Architectures [4.887917220146243]
提案手法は,拡張ポリシー探索法とネットワークアーキテクチャ探索法を組み合わせることで,エンドツーエンドでそれらを協調的に最適化する。実験の結果, 本手法は, 独立的に検索した結果に対して, 競合性, 優れた性能が得られることがわかった。
論文参考訳（メタデータ） (2020-12-17T06:09:44Z)
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
論文参考訳（メタデータ） (2020-06-07T05:11:18Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。