Fugu-MT 論文翻訳(概要): Self-supervised Cross-silo Federated Neural Architecture Search

論文の概要: Self-supervised Cross-silo Federated Neural Architecture Search

arxiv url: http://arxiv.org/abs/2101.11896v1
Date: Thu, 28 Jan 2021 09:57:30 GMT
ステータス: 処理完了
システム内更新日: 2021-01-31 19:45:49.909525
Title: Self-supervised Cross-silo Federated Neural Architecture Search
Title（参考訳）: 自己教師型クロスサイロフェデレーションニューラルアーキテクチャサーチ
Authors: Xinle Liang, Yang Liu, Jiahuan Luo, Yuanqin He, Tianjian Chen, Qiang Yang
Abstract要約: 本稿では,VFL(Valtical Federated Learning)の自動化を目的とした,自己教師型垂直フェデレーションニューラルネットワーク(SS-VFNAS)を提案する。提案したフレームワークでは、まず各パーティが自己教師付きアプローチを用いてNASを行い、独自のデータで局所最適アーキテクチャを見つける。我々は,フェデレートNASよりも性能,通信効率,プライバシが優れていることを実験的に実証した。
参考スコア（独自算出の注目度）: 13.971827232338716
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) provides both model performance and data privacy for machine learning tasks where samples or features are distributed among different parties. In the training process of FL, no party has a global view of data distributions or model architectures of other parties. Thus the manually-designed architectures may not be optimal. In the past, Neural Architecture Search (NAS) has been applied to FL to address this critical issue. However, existing Federated NAS approaches require prohibitive communication and computation effort, as well as the availability of high-quality labels. In this work, we present Self-supervised Vertical Federated Neural Architecture Search (SS-VFNAS) for automating FL where participants hold feature-partitioned data, a common cross-silo scenario called Vertical Federated Learning (VFL). In the proposed framework, each party first conducts NAS using self-supervised approach to find a local optimal architecture with its own data. Then, parties collaboratively improve the local optimal architecture in a VFL framework with supervision. We demonstrate experimentally that our approach has superior performance, communication efficiency and privacy compared to Federated NAS and is capable of generating high-performance and highly-transferable heterogeneous architectures even with insufficient overlapping samples, providing automation for those parties without deep learning expertise.
Abstract（参考訳）: Federated Learning (FL)は、サンプルや機能が異なるパーティ間で分散される機械学習タスクに、モデルパフォーマンスとデータプライバシーの両方を提供する。 flのトレーニングプロセスでは、他のパーティのデータ分散やモデルアーキテクチャに関するグローバルな見解を持っていません。したがって、手動設計のアーキテクチャは最適ではないかもしれない。過去には、この重要な問題に対処するために、ニューラルネットワーク検索(NAS)がFLに適用されました。しかし、既存のFederated NASアプローチでは、通信や計算の禁止、高品質なラベルの入手が要求される。本研究では、参加者が特徴分断データを保持するFLを自動化するための自己監視型垂直フェデレーションニューラルネットワークサーチ(SS-VFNAS)を提案する。提案フレームワークでは,各パーティが自己教師付きアプローチでnasを実行し,独自のデータを用いた局所的最適アーキテクチャを求める。次に,vflフレームワークにおける局所最適アーキテクチャを協調的に改善する。我々は,本手法がフェデレートnasに比べて優れた性能,通信効率,プライバシを有することを実験的に実証し,重複サンプルが不足してもハイパフォーマンスで高転送性な異種アーキテクチャを生成できることを示した。

関連論文リスト

Handling Data Heterogeneity via Architectural Design for Federated Visual Recognition [16.50490537786593]
4つのFLデータセットを用いて、5つの異なるアーキテクチャファミリからの19の視覚認識モデルについて検討する。本研究は,現実的なシナリオにおけるコンピュータビジョンタスクにおけるアーキテクチャ設計の重要性を強調した。
論文参考訳（メタデータ） (2023-10-23T17:59:16Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
FedorAS: Federated Architecture Search under system heterogeneity [7.187123335023895]
フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら分散データを使用する能力により、最近かなりの注目を集めている。また、その計算能力とコントリビューションデータの観点から、参加するデバイスの不均一性に関する追加の課題も生じている。非IID分散データを保持する様々な機能を持つデバイスを扱う際に,将来性のあるアーキテクチャを発見し,訓練するためのシステムであるFedorASを設計する。
論文参考訳（メタデータ） (2022-06-22T17:36:26Z)
Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文参考訳（メタデータ） (2022-04-27T05:18:32Z)
SPIDER: Searching Personalized Neural Architecture for Federated Learning [17.61748275091843]
フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。 FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
論文参考訳（メタデータ） (2021-12-27T23:42:15Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文参考訳（メタデータ） (2021-01-27T10:10:18Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文参考訳（メタデータ） (2020-04-23T14:16:39Z)
Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search [15.714385295889944]
本稿では,より高精度なアーキテクチャの探索を支援するために,フェデレートNAS(FedNAS)アルゴリズムを提案する。非IIDデータセットに対する実験により、FedNASが検索したアーキテクチャは、手動で定義したアーキテクチャよりも優れていることが示された。
論文参考訳（メタデータ） (2020-04-18T08:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。