論文の概要: Federated Sinkhorn

• arxiv url: http://arxiv.org/abs/2502.07021v1
• Date: Mon, 10 Feb 2025 20:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:06.543724
• Title: Federated Sinkhorn
• Title（参考訳）: フェデレートシンクホーン
• Authors: Jeremy Kulcsar, Vyacheslav Kungurtsev, Georgios Korpas, Giulio Giaconi, William Shoosmith,
• Abstract要約: 連合学習環境におけるエントロピー正規化による離散最適輸送問題の解法の可能性について検討する。 同期型と非同期型の両方、およびオール・ツー・オールおよびサーバ・クライアント型通信プロトコルを検討します。 合成データセットのアルゴリズム性能と実世界の金融リスク評価アプリケーションについて実証実験を行った。
• 参考スコア（独自算出の注目度）: 2.589644824000165
• License:
• Abstract: In this work we investigate the potential of solving the discrete Optimal Transport (OT) problem with entropy regularization in a federated learning setting. Recall that the celebrated Sinkhorn algorithm transforms the classical OT linear program into strongly convex constrained optimization, facilitating first order methods for otherwise intractably large problems. A common contemporary setting that remains an open problem as far as the application of Sinkhorn is the presence of data spread across clients with distributed inter-communication, either due to clients whose privacy is a concern, or simply by necessity of processing and memory hardware limitations. In this work we investigate various natural procedures, which we refer to as Federated Sinkhorn, that handle distributed environments where data is partitioned across multiple clients. We formulate the problem as minimizing the transport cost with an entropy regularization term, subject to marginal constraints, where block components of the source and target distribution vectors are locally known to clients corresponding to each block. We consider both synchronous and asynchronous variants as well as all-to-all and server-client communication topology protocols. Each procedure allows clients to compute local operations on their data partition while periodically exchanging information with others. We provide theoretical guarantees on convergence for the different variants under different possible conditions. We empirically demonstrate the algorithms performance on synthetic datasets and a real-world financial risk assessment application. The investigation highlights the subtle tradeoffs associated with computation and communication time in different settings and how they depend on problem size and sparsity.
• Abstract（参考訳）: 本研究では,連合学習環境におけるエントロピー正規化による離散的最適輸送(OT)問題の解決の可能性について検討する。 有名なシンクホーンアルゴリズムは、古典的なOT線形プログラムを強い凸制約付き最適化に変換し、それ以外は難解な問題に対する一階法を促進させる。 Sinkhornの応用に関しても、現在の一般的な設定は、分散通信を持つクライアントに分散したデータが存在することであり、プライバシーが懸念されているクライアント、単に処理とメモリハードウェアの制限が不要であるためである。 本研究では,複数のクライアント間でデータを分割する分散環境を扱うFederated Sinkhornと呼ぶ,さまざまな自然な手順について検討する。 本稿では,各ブロックに対応するクライアントに対して,ソースとターゲット分布ベクトルのブロック成分を局所的に知るという限界制約の下で,エントロピー正規化項による輸送コストの最小化という問題を定式化する。 同期型と非同期型の両方、およびオール・ツー・オールおよびサーバ・クライアント通信トポロジプロトコルについて検討する。 各プロシージャは、クライアントが定期的に他のものと情報を交換しながら、データパーティション上のローカル操作を計算できる。 異なる可能な条件下で異なる変種に対する収束に関する理論的保証を提供する。 合成データセットのアルゴリズム性能と実世界の金融リスク評価アプリケーションについて実証実験を行った。 この調査は、異なる環境での計算と通信時間にかかわる微妙なトレードオフと、それらが問題のサイズと疎性に依存するかを強調している。

関連論文リスト

• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users [95.77678166036561]
  繊細な通信プロトコルを用いたUPB型アルゴリズムを提案する。 同期フレームワークで達成されたものと同等のサブ線形後悔境界を与えます。 合成および実世界のデータセットに関する実証評価は、後悔と通信コストの観点から、我々のアルゴリズムの優れた性能を検証する。
  論文  参考訳（メタデータ） (2024-02-26T05:31:14Z)
• Federated Gradient Matching Pursuit [17.695717854068715]
  従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。 特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。 本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:26:29Z)
• Federated Minimax Optimization with Client Heterogeneity [11.558008138030845]
  ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。 そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-08T18:33:55Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
  Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。 従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
  論文  参考訳（メタデータ） (2022-06-20T22:39:39Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。