論文の概要: Communication-Efficient Distributed Linear and Deep Generalized
Canonical Correlation Analysis
- arxiv url: http://arxiv.org/abs/2109.12400v1
- Date: Sat, 25 Sep 2021 16:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:06:19.056294
- Title: Communication-Efficient Distributed Linear and Deep Generalized
Canonical Correlation Analysis
- Title(参考訳): 通信効率の高い分散線形およびディープ一般化正準相関解析
- Authors: Sagar Shrestha and Xiao Fu
- Abstract要約: この研究は、リニアGCCAとディープGCCAの両方のための通信効率のよい分散フレームワークを提供する。
提案アルゴリズムは,精度と収束速度をほぼ損なうことなく,通信オーバーヘッドを約90%削減する。
- 参考スコア(独自算出の注目度): 9.769870656657522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classic and deep learning-based generalized canonical correlation analysis
(GCCA) algorithms seek low-dimensional common representations of data entities
from multiple ``views'' (e.g., audio and image) using linear transformations
and neural networks, respectively. When the views are acquired and stored at
different locations, organizations and edge devices, computing GCCA in a
distributed, parallel and efficient manner is well-motivated. However, existing
distributed GCCA algorithms may incur prohitively high communication overhead.
This work puts forth a communication-efficient distributed framework for both
linear and deep GCCA under the maximum variance (MAX-VAR) paradigm. The
overhead issue is addressed by aggressively compressing (via quantization) the
exchanging information between the distributed computing agents and a central
controller. Compared to the unquantized version, the proposed algorithm
consistently reduces the communication overhead by about $90\%$ with virtually
no loss in accuracy and convergence speed. Rigorous convergence analyses are
also presented -- which is a nontrivial effort since no existing generic result
from quantized distributed optimization covers the special problem structure of
GCCA. Our result shows that the proposed algorithms for both linear and deep
GCCA converge to critical points in a sublinear rate, even under heavy
quantization and stochastic approximations. In addition, it is shown that in
the linear MAX-VAR case, the quantized algorithm approaches a {\it global
optimum} in a {\it geometric} rate -- if the computing agents' updates meet a
certain accuracy level. Synthetic and real data experiments are used to
showcase the effectiveness of the proposed approach.
- Abstract(参考訳): 古典的およびディープラーニングに基づく一般化正準相関解析(GCCA)アルゴリズムは、線形変換とニューラルネットワークを用いて複数の`views'(音声と画像)からデータエンティティの低次元共通表現を求める。
ビューが異なる場所、組織、エッジデバイスで取得され、保存されると、GCCAを分散、並列、効率的な方法で計算することが動機になります。
しかし、既存の分散GCCAアルゴリズムは、確率的に高い通信オーバーヘッドを引き起こす可能性がある。
本研究は、最大分散(MAX-VAR)パラダイムの下で、線形および深部GCCAの通信効率の高い分散フレームワークを提案する。
オーバーヘッド問題は、分散コンピューティングエージェントと中央コントローラ間の情報交換を積極的に(量子化によって)圧縮することで解決される。
非定量化バージョンと比較して、提案アルゴリズムは、ほぼ精度と収束速度を損なうことなく、通信オーバーヘッドを約90 %$に抑える。
量子化された分散最適化による既存の一般的な結果はGCCAの特別な問題構造をカバーしていないため、これは非自明な努力である。
本結果は,重量子化や確率近似の下でも,線形および深部GCCAのアルゴリズムが線形速度の臨界点に収束することを示す。
さらに、線形MAX-VARの場合、量子化されたアルゴリズムは、計算エージェントの更新が一定の精度のレベルに達した場合、 a {\displaystyle a} に近づくことが示されている。
合成および実データ実験は,提案手法の有効性を示すために用いられる。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - Communication-Efficient Federated Non-Linear Bandit Optimization [26.23638987873429]
汎用非線形目的関数を用いた連邦帯域最適化のための新しいアルゴリズムであるFed-GO-UCBを提案する。
いくつかの軽度の条件下では、Fed-GO-UCBが累積的後悔と通信コストの両方でサブ線形レートを達成できることを厳格に証明する。
論文 参考訳(メタデータ) (2023-11-03T03:50:31Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳(メタデータ) (2022-08-28T21:10:56Z) - Task-Oriented Sensing, Computation, and Communication Integration for
Multi-Device Edge AI [108.08079323459822]
本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。
推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
論文 参考訳(メタデータ) (2022-07-03T06:57:07Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳(メタデータ) (2022-07-01T17:58:29Z) - A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
論文 参考訳(メタデータ) (2022-02-11T17:52:56Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳(メタデータ) (2021-10-14T17:35:24Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳(メタデータ) (2021-04-13T08:23:46Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - Generalized Canonical Correlation Analysis: A Subspace Intersection
Approach [30.475159163815505]
Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。
本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。
大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-25T04:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。