論文の概要: Measuring Heterogeneity in Machine Learning with Distributed Energy Distance

• arxiv url: http://arxiv.org/abs/2501.16174v1
• Date: Mon, 27 Jan 2025 16:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 14:00:18.476096
• Title: Measuring Heterogeneity in Machine Learning with Distributed Energy Distance
• Title（参考訳）: 分散エネルギー距離を用いた機械学習における不均一性の測定
• Authors: Mengchen Fan, Baocheng Geng, Roman Shterenberg, Joseph A. Casey, Zhong Chen, Keren Li,
• Abstract要約: 本稿では,分布の相違を定量化するための感度尺度として,エネルギー距離を導入する。 我々は,計算オーバーヘッドを低減しつつ,重要な理論的定量的特性を保存するテイラー近似を開発した。 本研究では,不均質ノード間の予測の整合化のために,ペナルティ重みを割り当てるためのエネルギー距離の新たな適用法を提案する。
• 参考スコア（独自算出の注目度）: 3.8318398579197335
• License:
• Abstract: In distributed and federated learning, heterogeneity across data sources remains a major obstacle to effective model aggregation and convergence. We focus on feature heterogeneity and introduce energy distance as a sensitive measure for quantifying distributional discrepancies. While we show that energy distance is robust for detecting data distribution shifts, its direct use in large-scale systems can be prohibitively expensive. To address this, we develop Taylor approximations that preserve key theoretical quantitative properties while reducing computational overhead. Through simulation studies, we show how accurately capturing feature discrepancies boosts convergence in distributed learning. Finally, we propose a novel application of energy distance to assign penalty weights for aligning predictions across heterogeneous nodes, ultimately enhancing coordination in federated and distributed settings.
• Abstract（参考訳）: 分散学習とフェデレーション学習では、データソース間の不均一性は、効果的なモデル集約と収束の大きな障害である。 本稿では, 特徴の不均一性に着目し, 分布の相違を定量化するための感度指標としてエネルギー距離を導入する。 データ分散シフトの検出には, エネルギー距離が堅牢であることを示す一方で, 大規模システムでの直接利用は, 極めて高価である。 そこで我々は,計算オーバーヘッドを低減しつつ,重要な理論的量的特性を保ったTaylor近似を開発した。 シミュレーション研究を通じて,特徴の相違が分散学習における収束をいかに正確に捉えるかを示す。 最後に、不均一なノード間の予測の整合化のためのペナルティ重みを割り当て、最終的にフェデレートおよび分散設定における整合性を向上させるためのエネルギー距離の新たな応用を提案する。

関連論文リスト

• Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift [9.530897053573186]
  本稿では,周辺情報,すなわちデータポイントの局所的構造を利用した新しい異種性尺度を提案する。 提案手法を用いて過大な誤差を特徴付けるとともに,従来の手法と比較して高速あるいは競合的な収束率を示す。
  論文  参考訳（メタデータ） (2024-05-27T07:55:27Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
  本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。 センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
  論文  参考訳（メタデータ） (2023-09-05T22:33:02Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
  確率分布の相違は、統計的推測と機械学習の核心にある。 本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-22T16:35:58Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。