論文の概要: Decentralized Entropic Optimal Transport for Distributed Distribution Comparison
- arxiv url: http://arxiv.org/abs/2301.12065v2
- Date: Mon, 22 Jul 2024 09:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 06:06:15.172872
- Title: Decentralized Entropic Optimal Transport for Distributed Distribution Comparison
- Title（参考訳）: 分散分布比較のための分散エントロピー最適輸送
- Authors: Xiangfeng Wang, Hongteng Xu, Moyi Yang,
- Abstract要約: 本稿では,通信効率とプライバシ保護を両立させる分散型エントロピー最適輸送(DEOT)手法を提案する。
特に,DOT距離を2倍に最適化するミニバッチランダム化ブロック座標降下法を設計する。
提案手法は,エントロピックなGromov-Wasserstein距離にも適用可能であることを示す。
- 参考スコア（独自算出の注目度）: 28.122302344024387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed distribution comparison aims to measure the distance between the distributions whose data are scattered across different agents in a distributed system and cannot even be shared directly among the agents. In this study, we propose a novel decentralized entropic optimal transport (DEOT) method, which provides a communication-efficient and privacy-preserving solution to this problem with theoretical guarantees. In particular, we design a mini-batch randomized block-coordinate descent (MRBCD) scheme to optimize the DEOT distance in its dual form. The dual variables are scattered across different agents and updated locally and iteratively with limited communications among partial agents. The kernel matrix involved in the gradients of the dual variables is estimated by a decentralized kernel approximation method, in which each agent only needs to approximate and store a sub-kernel matrix by one-shot communication and without sharing raw data. Besides computing entropic Wasserstein distance, we show that the proposed MRBCD scheme and kernel approximation method also apply to entropic Gromov-Wasserstein distance. We analyze our method's communication complexity and, under mild assumptions, provide a theoretical bound for the approximation error caused by the convergence error, the estimated kernel, and the mismatch between the storage and communication protocols. In addition, we discuss the trade-off between the precision of the EOT distance and the strength of privacy protection when implementing our method. Experiments on synthetic data and real-world distributed domain adaptation tasks demonstrate the effectiveness of our method.
- Abstract（参考訳）: 分散分布比較は,分散エージェント間でデータを分散し,エージェント間で直接共有することができない分布間の距離を測定することを目的としている。
本研究では,この問題に対する通信効率とプライバシ保護のソリューションを理論的保証とともに提供する分散型エントロピー最適輸送(DEOT)手法を提案する。
特に,最小バッチランダム化ブロック座標降下法(MRBCD)を設計し,DET距離を2倍に最適化する。
二重変数は異なるエージェントに分散し、部分的エージェント間の限られた通信で局所的かつ反復的に更新される。
双対変数の勾配に関与するカーネル行列は、分散化されたカーネル近似法により推定される。
エントロピック・ワッサーシュタイン距離の計算に加えて、提案したMBBCDスキームとカーネル近似法がエントロピック・グロモフ・ワッサーシュタイン距離にも適用可能であることを示す。
我々は,本手法の通信複雑性を解析し,軽微な仮定の下で,収束誤差,推定カーネル,ストレージと通信プロトコル間のミスマッチに起因する近似誤差の理論的境界を提供する。
また,本手法の実装において,EOT距離の精度とプライバシー保護の強度のトレードオフについて検討する。
合成データと実世界の分散ドメイン適応タスクの実験により,本手法の有効性が示された。
関連論文リスト
- Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳（メタデータ） (2023-12-02T21:10:06Z) - IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint
Multi-Agent Trajectory Prediction [73.25645602768158]
IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。
我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
論文 参考訳（メタデータ） (2023-03-01T15:16:56Z) - Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
確率分布の相違は、統計的推測と機械学習の核心にある。
本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
論文 参考訳（メタデータ） (2021-11-22T16:35:58Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Distributional Sliced Embedding Discrepancy for Incomparable
Distributions [22.615156512223766]
Gromov-Wasserstein (GW) 距離は多様体学習とクロスドメイン学習の鍵となるツールである。
本稿では,分散スライシング,埋め込み,スライスされた分布間の閉形式ワッサーシュタイン距離の計算という2つの計算分布を比較する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T15:11:30Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Majorization Minimization Methods for Distributed Pose Graph
Optimization with Convergence Guarantees [0.76146285961466]
提案手法は軽度条件下で一階臨界点に収束することが保証されていることを示す。
提案手法は分散PGOの近位演算子に依存するため,収束速度を著しく向上させることができる。
この研究の有効性は、2Dおよび3D SLAMデータセットの応用を通じて検証される。
論文 参考訳（メタデータ） (2020-03-11T15:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。