論文の概要: Empowering Data Mesh with Federated Learning

• arxiv url: http://arxiv.org/abs/2403.17878v2
• Date: Wed, 27 Mar 2024 16:01:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 11:48:28.208457
• Title: Empowering Data Mesh with Federated Learning
• Title（参考訳）: フェデレーションラーニングによるデータメッシュの強化
• Authors: Haoyuan Li, Salman Toor,
• Abstract要約: 新しいパラダイムであるData Meshは、中央チームから各データドメインにデータオーナシップを分散することで、ドメインを第一級の関心事として扱う。 Paypal、Netflix、Zalandoといった数十万ドルの企業はすでに、この新しいアーキテクチャに基づいてデータ分析パイプラインを変革している。 我々はフェデレートラーニングをData Meshに組み込む先駆的なアプローチを導入します。
• 参考スコア（独自算出の注目度）: 5.087058648342379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evolution of data architecture has seen the rise of data lakes, aiming to solve the bottlenecks of data management and promote intelligent decision-making. However, this centralized architecture is limited by the proliferation of data sources and the growing demand for timely analysis and processing. A new data paradigm, Data Mesh, is proposed to overcome these challenges. Data Mesh treats domains as a first-class concern by distributing the data ownership from the central team to each data domain, while keeping the federated governance to monitor domains and their data products. Many multi-million dollar organizations like Paypal, Netflix, and Zalando have already transformed their data analysis pipelines based on this new architecture. In this decentralized architecture where data is locally preserved by each domain team, traditional centralized machine learning is incapable of conducting effective analysis across multiple domains, especially for security-sensitive organizations. To this end, we introduce a pioneering approach that incorporates Federated Learning into Data Mesh. To the best of our knowledge, this is the first open-source applied work that represents a critical advancement toward the integration of federated learning methods into the Data Mesh paradigm, underscoring the promising prospects for privacy-preserving and decentralized data analysis strategies within Data Mesh architecture.
• Abstract（参考訳）: データアーキテクチャの進化は、データ管理のボトルネックを解消し、インテリジェントな意思決定を促進することを目的として、データレイクの台頭を目の当たりにしてきた。 しかし、この集中型アーキテクチャは、データソースの急増と、タイムリーな分析と処理に対する需要の増加によって制限されている。 これらの課題を克服するために、新しいデータパラダイムであるData Meshが提案されている。 Data Meshは、中央チームから各データドメインにデータオーナシップを分散することで、ドメインを第一級の関心事として扱うと同時に、ドメインとそのデータ製品を監視するためのフェデレートされたガバナンスを維持する。 Paypal、Netflix、Zalandoといった数十万ドルの企業はすでに、この新しいアーキテクチャに基づいてデータ分析パイプラインを変革している。 データが各ドメインチームによってローカルに保存される分散アーキテクチャでは、従来の集中型機械学習は複数のドメイン、特にセキュリティに敏感な組織に対して効果的な分析を行うことができない。 この目的のために、フェデレートラーニングをData Meshに組み込んだ先駆的なアプローチを導入しました。 私たちの知る限りでは、これは、フェデレートされた学習メソッドをData Meshパラダイムに統合する上で重要な進歩を示す最初のオープンソース応用作品です。

関連論文リスト

• An advanced data fabric architecture leveraging homomorphic encryption and federated learning [10.779491433438144]
  本稿では,分散データファブリックアーキテクチャにおけるフェデレーション学習と部分同型暗号を用いた医用画像解析のためのセキュアなアプローチを提案する。 本研究は下垂体腫瘍分類のケーススタディを通じて, 本手法の有効性を実証し, 高い精度を達成した。
  論文  参考訳（メタデータ） (2024-02-15T08:50:36Z)
• Lightweight Knowledge Representations for Automating Data Analysis [33.094930396228676]
  データサイエンスパイプラインの重要な側面、すなわちデータ分析を自動化するための第一歩を踏み出します。 本稿では、ドメインやデータ間の分析を対象とするデータ分析操作の分類法と、この分類を実際のデータに関連付けるドメイン固有の知識の体系化手法を提案する。 このようにして、複雑な分析と検索が可能なデータ上の情報空間を生成し、完全に自動化されたデータ分析の道を開く。
  論文  参考訳（メタデータ） (2023-10-15T06:44:45Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Towards Avoiding the Data Mess: Industry Insights from Data Mesh Implementations [1.5029560229270191]
  Data Meshは、企業データ管理のための、社会技術的、分散化されたコンセプトである。 業界の専門家との15の半構造化インタビューを行います。 本研究は,業界の専門家による知見を総合し,データメッシュの採用を成功させるための予備的ガイドラインを研究者や専門家に提供する。
  論文  参考訳（メタデータ） (2023-02-03T13:09:57Z)
• DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
  DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。 私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。 ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
  論文  参考訳（メタデータ） (2022-07-20T17:47:54Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Towards Data-Free Domain Generalization [12.269045654957765]
  異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか? 以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。 DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
  論文  参考訳（メタデータ） (2021-10-09T11:44:05Z)
• A communication efficient distributed learning framework for smart environments [0.4898659895355355]
  本稿では,データ生成箇所にデータ分析を近づける分散学習フレームワークを提案する。 分散機械学習技術を使用することで、クラウドソリューションに匹敵するパフォーマンスを確保しながら、ネットワークオーバーヘッドを大幅に削減することができる。 分析はまた、ノード上のデータの特定の分布に基づいて、各分散学習アプローチがいつ好ましいかを示す。
  論文  参考訳（メタデータ） (2021-09-27T13:44:34Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。