論文の概要: Multi-Source to Multi-Target Decentralized Federated Domain Adaptation
- arxiv url: http://arxiv.org/abs/2304.12422v1
- Date: Mon, 24 Apr 2023 19:57:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 22:44:55.500715
- Title: Multi-Source to Multi-Target Decentralized Federated Domain Adaptation
- Title（参考訳）: 多目的分散ドメイン適応へのマルチソース
- Authors: Su Wang, Seyyedali Hosseinalipour, Christopher G. Brinton
- Abstract要約: 本稿では,デバイス間でのラベル付きおよびラベルなしデータの量/分布に着目する。
高品質なラベル付きデータを持つデバイスから高品質なラベル付きデータまたはラベルなしデータを持つデバイスへMLモデルの転送を検討する分散化されたドメイン適応手法を開発した。
我々の手法であるソースターゲット決定とリンク形成(ST-LF)は、デバイスをソースとターゲットに分類し、ソースとターゲットのリンク形成を最適化する。
- 参考スコア（独自算出の注目度）: 13.779322557151358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneity across devices in federated learning (FL) typically refers to
statistical (e.g., non-i.i.d. data distributions) and resource (e.g.,
communication bandwidth) dimensions. In this paper, we focus on another
important dimension that has received less attention: varying
quantities/distributions of labeled and unlabeled data across devices. In order
to leverage all data, we develop a decentralized federated domain adaptation
methodology which considers the transfer of ML models from devices with high
quality labeled data (called sources) to devices with low quality or unlabeled
data (called targets). Our methodology, Source-Target Determination and Link
Formation (ST-LF), optimizes both (i) classification of devices into sources
and targets and (ii) source-target link formation, in a manner that considers
the trade-off between ML model accuracy and communication energy efficiency. To
obtain a concrete objective function, we derive a measurable generalization
error bound that accounts for estimates of source-target hypothesis deviations
and divergences between data distributions. The resulting optimization problem
is a mixed-integer signomial program, a class of NP-hard problems, for which we
develop an algorithm based on successive convex approximations to solve it
tractably. Subsequent numerical evaluations of ST-LF demonstrate that it
improves classification accuracy and energy efficiency over state-of-the-art
baselines.
- Abstract（参考訳）: 連合学習(fl)におけるデバイス間の不均一性は、一般に統計(例えば、非i.i.d.データ分布)と資源(例えば、通信帯域幅)の次元を指す。
本稿では,デバイス間でラベル付きおよびラベルなしデータの量/分布の異なる,あまり注目されていない別の重要な次元に焦点を当てる。
すべてのデータを活用するために,高品質なラベル付きデータ(ソースと呼ばれる)を持つデバイスから,低品質またはラベル付きデータ(ターゲットと呼ばれる)を持つデバイスへのmlモデルの転送を検討する分散フェデレーションドメイン適応手法を開発した。
我々の手法であるst-lf(source-target determination and link formation)は両者を最適化する
(i) 装置のソース及びターゲットへの分類及び
(ii) mlモデルの精度と通信エネルギー効率とのトレードオフを考慮したソース・ターゲットリンクの形成。
具体的目的関数を得るためには、ソース・ターゲット仮説の偏差とデータ分布のばらつきを推定する測定可能な一般化誤差を導出する。
結果として得られる最適化問題は、NPハード問題のクラスである混合整数シグナミカルプログラムであり、連続凸近似に基づくアルゴリズムを開発し、その解法を巧みに行う。
その後のST-LFの数値評価は、最先端のベースラインよりも分類精度とエネルギー効率を向上させることを示した。
関連論文リスト
- Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-21T12:07:04Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳（メタデータ） (2022-08-28T21:10:56Z) - Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。
近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。
本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
論文 参考訳（メタデータ） (2022-04-24T12:22:19Z) - FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to
System Heterogeneity [4.2059108111562935]
Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。
本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。
我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2022-04-07T15:58:33Z) - A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
論文 参考訳（メタデータ） (2022-02-11T17:52:56Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。
オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。
どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
論文 参考訳（メタデータ） (2021-05-29T15:39:43Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳（メタデータ） (2021-04-03T01:33:14Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。