論文の概要: SplitVAEs: Decentralized scenario generation from siloed data for stochastic optimization problems

• arxiv url: http://arxiv.org/abs/2409.12328v2
• Date: Fri, 31 Jan 2025 01:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:57:55.999546
• Title: SplitVAEs: Decentralized scenario generation from siloed data for stochastic optimization problems
• Title（参考訳）: SplitVAEs:確率最適化問題のためのサイロデータからの分散シナリオ生成
• Authors: H M Mohaimanul Islam, Huynh Q. N. Vo, Paritosh Ramanan,
• Abstract要約: SplitVAEsは分散シナリオ生成フレームワークで、可変オートエンコーダを利用して、ステークホルダーデータを移動せずに高品質なシナリオを生成する。 実験の結果, SplitVAEは, 集中型, 最先端のベンチマーク手法と比較して, 堅牢な性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Stochastic optimization problems in large-scale multi-stakeholder networked systems (e.g., power grids and supply chains) rely on data-driven scenarios to encapsulate complex spatiotemporal interdependencies. However, centralized aggregation of stakeholder data is challenging due to the existence of data silos resulting from computational and logistical bottlenecks. In this paper, we present SplitVAEs, a decentralized scenario generation framework that leverages variational autoencoders to generate high-quality scenarios without moving stakeholder data. With the help of experiments on distributed memory systems, we demonstrate the broad applicability of SplitVAEs in a variety of domain areas that are dominated by a large number of stakeholders. Our experiments indicate that SplitVAEs can learn spatial and temporal interdependencies in large-scale networks to generate scenarios that match the joint historical distribution of stakeholder data in a decentralized manner. Our experiments show that SplitVAEs deliver robust performance compared to centralized, state-of-the-art benchmark methods while significantly reducing data transmission costs, leading to a scalable, privacy-enhancing alternative to scenario generation.
• Abstract（参考訳）: 大規模マルチステークホルダネットワークシステム(電力グリッドやサプライチェーンなど)における確率的最適化問題は、複雑な時空間依存性をカプセル化するデータ駆動シナリオに依存している。 しかし、計算的・論理的ボトルネックに起因するデータサイロの存在により、利害関係者データの集中的な集約は困難である。 本稿では,分散化されたシナリオ生成フレームワークであるSplitVAEsを提案する。 分散メモリシステムの実験の助けを借りて、多くの利害関係者が支配するさまざまな領域において、SplitVAEの広範な適用性を実証する。 実験により,SplitVAEは大規模ネットワークにおける空間的・時間的相互依存性を学習し,利害関係者データの連立履歴分布に一致したシナリオを分散的に生成できることが示唆された。 我々の実験によると、SplitVAEは、中央集権的な最先端のベンチマーク手法と比較して堅牢なパフォーマンスを提供すると同時に、データ転送コストを大幅に削減し、シナリオ生成に代わるスケーラブルでプライバシー向上の代替となる。

関連論文リスト

• Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
  Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。 現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。 我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。 実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
  論文  参考訳（メタデータ） (2024-06-14T07:22:39Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks [0.18416014644193063]
  人工知能に基づくグローバルなエネルギー効率戦略を実現する上での大きな課題は、アルゴリズムを供給するために大量のデータが必要であることです。 本稿では,データセンタ内の合成シナリオ予測に基づく時系列データ拡張手法を提案する。 我々の研究は、データセンターで消費されるエネルギーを最適化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-01-12T15:09:10Z)
• ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning [24.288233074516455]
  本稿では,多人数学習のための適応型微分可能サンプリングフレームワーク(ADDS)を提案する。 提案手法は,集中モデル収束を高速化しながら,局所的な計算と通信コストを大幅に削減する。
  論文  参考訳（メタデータ） (2021-10-29T03:35:15Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。