論文の概要: Communication-Efficient Federated Linear and Deep Generalized Canonical Correlation Analysis

• arxiv url: http://arxiv.org/abs/2109.12400v2
• Date: Mon, 3 Apr 2023 19:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 19:33:03.819240
• Title: Communication-Efficient Federated Linear and Deep Generalized Canonical Correlation Analysis
• Title（参考訳）: 通信効率の良い連帯線形および深い一般化正準相関解析
• Authors: Sagar Shrestha and Xiao Fu
• Abstract要約: 本研究は, 線形GCCAと深層GCCAの双方を対象とした, コミュニケーション効率のよいフェデレーション学習フレームワークを提案する。 実験により,提案アルゴリズムは精度と収束速度をほぼ損なうことなく,通信オーバーヘッドを大幅に低減できることを示した。
• 参考スコア（独自算出の注目度）: 13.04301271535511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classic and deep generalized canonical correlation analysis (GCCA) algorithms seek low-dimensional common representations of data entities from multiple ``views'' (e.g., audio and image) using linear transformations and neural networks, respectively. When the views are acquired and stored at different computing agents (e.g., organizations and edge devices) and data sharing is undesired due to privacy or communication cost considerations, federated learning-based GCCA is well-motivated. In federated learning, the views are kept locally at the agents and only derived, limited information exchange with a central server is allowed. However, applying existing GCCA algorithms onto such federated learning settings may incur prohibitively high communication overhead. This work puts forth a communication-efficient federated learning framework for both linear and deep GCCA under the maximum variance (MAX-VAR) formulation. The overhead issue is addressed by aggressively compressing (via quantization) the exchanging information between the computing agents and a central controller. Compared to the unquantized version, our empirical study shows that the proposed algorithm enjoys a substantial reduction of communication overheads with virtually no loss in accuracy and convergence speed. Rigorous convergence analyses are also presented, which is a nontrivial effort. Generic federated optimization results do not cover the special problem structure of GCCA. Our result shows that the proposed algorithms for both linear and deep GCCA converge to critical points at a sublinear rate, even under heavy quantization and stochastic approximations. In addition, in the linear MAX-VAR case, the quantized algorithm approaches a global optimum in a geometric rate under reasonable conditions. Synthetic and real-data experiments are used to showcase the effectiveness of the proposed approach.
• Abstract（参考訳）: 古典的および深い一般化された標準相関解析(GCCA)アルゴリズムは、線形変換とニューラルネットワークを用いて複数の ``views'' (例:音声と画像)からデータエンティティの低次元共通表現を求める。 ビューが異なるコンピュータエージェント(例えば組織やエッジデバイス)に取得され、プライバシや通信コストの考慮からデータ共有が望まれない場合、フェデレートされた学習ベースのGCCAが好まれる。 連合学習では、ビューをエージェントにローカルに保持し、中央サーバとの限られた情報交換のみを許可する。 しかし,既存のGCCAアルゴリズムをこのような統合学習環境に適用すると,通信オーバーヘッドが著しく大きくなる可能性がある。 本研究は, 最大分散(MAX-VAR)定式化の下で, 線形および深部GCCAの通信効率向上のためのフェデレート学習フレームワークを提案する。 オーバーヘッド問題は、計算エージェントと中央コントローラ間の情報交換を積極的に(量子化によって)圧縮することで解決される。 数値化されていないバージョンと比較して,提案手法は,精度や収束速度をほとんど損なうことなく,通信オーバーヘッドの大幅な削減を享受できることを示した。 厳密な収束解析も提示され、これは非自明な試みである。 汎用フェデレーション最適化の結果はGCCAの特別な問題構造をカバーしていない。 本結果は,重量子化や確率近似の下でも,線形および深部GCCAのアルゴリズムが線形速度で臨界点に収束することを示す。 さらに、線形MAX-VARの場合、量子化アルゴリズムは、合理的条件下での幾何速度で大域的最適にアプローチする。 提案手法の有効性を示すために合成および実データ実験を用いる。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Communication-Efficient Federated Non-Linear Bandit Optimization [26.23638987873429]
  汎用非線形目的関数を用いた連邦帯域最適化のための新しいアルゴリズムであるFed-GO-UCBを提案する。 いくつかの軽度の条件下では、Fed-GO-UCBが累積的後悔と通信コストの両方でサブ線形レートを達成できることを厳格に証明する。
  論文  参考訳（メタデータ） (2023-11-03T03:50:31Z)
• Domain Adaptation Principal Component Analysis: base linear method for learning with out-of-distribution data [55.41644538483948]
  ドメイン適応は現代の機械学習において一般的なパラダイムである。 ドメイン適応主成分分析(DAPCA)という手法を提案する。 DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
  論文  参考訳（メタデータ） (2022-08-28T21:10:56Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
  本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。 提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。 また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
  論文  参考訳（メタデータ） (2021-04-13T08:23:46Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Generalized Canonical Correlation Analysis: A Subspace Intersection Approach [30.475159163815505]
  Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。 本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。 大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-25T04:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。