論文の概要: Decentralized Data Governance as Part of a Data Mesh Platform: Concepts
and Approaches
- arxiv url: http://arxiv.org/abs/2307.02357v1
- Date: Wed, 5 Jul 2023 15:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 13:16:49.708752
- Title: Decentralized Data Governance as Part of a Data Mesh Platform: Concepts
and Approaches
- Title(参考訳): データメッシュプラットフォームの一部としての分散データガバナンス - 概念とアプローチ
- Authors: Arif Wider, Sumedha Verma, Atif Akhtar
- Abstract要約: データメッシュは、分散分析データ管理のための社会技術的アプローチである。
本稿では、主要なデータメッシュの概念の概念モデルを提示し、プラットフォーム手段によるガバナンスを促進するためのさまざまなアプローチについて論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data mesh is a socio-technical approach to decentralized analytics data
management. To manage this decentralization efficiently, data mesh relies on
automation provided by a self-service data infrastructure platform. A key
aspect of this platform is to enable decentralized data governance. Because
data mesh is a young approach, there is a lack of coherence in how data mesh
concepts are interpreted in the industry, and almost no work on how a data mesh
platform facilitates governance. This paper presents a conceptual model of key
data mesh concepts and discusses different approaches to drive governance
through platform means. The insights presented are drawn from concrete
experiences of implementing a fully-functional data mesh platform that can be
used as a reference on how to approach data mesh platform development.
- Abstract(参考訳): data meshは、分散分析データ管理に対する社会技術的アプローチである。
この分散化を効率的に管理するために、データメッシュは、セルフサービスデータインフラストラクチャプラットフォームが提供する自動化に依存する。
このプラットフォームの重要な側面は、分散データガバナンスを可能にすることだ。
データメッシュは若いアプローチであるため、業界におけるデータメッシュの概念の解釈方法には一貫性が欠如しており、データメッシュプラットフォームがガバナンスを促進する方法に関する作業はほとんどない。
本稿では、主要なデータメッシュ概念の概念モデルを提示し、プラットフォーム手段を通じたガバナンスを推進するための異なるアプローチについて論じる。
講演では、データメッシュプラットフォーム開発へのアプローチのリファレンスとして使用可能な、フルファンクショナルなデータメッシュプラットフォームの実装に関する具体的な経験から引用した。
関連論文リスト
- Empowering Data Mesh with Federated Learning [5.087058648342379]
新しいパラダイムであるData Meshは、中央チームから各データドメインにデータオーナシップを分散することで、ドメインを第一級の関心事として扱う。
Paypal、Netflix、Zalandoといった数十万ドルの企業はすでに、この新しいアーキテクチャに基づいてデータ分析パイプラインを変革している。
我々はフェデレートラーニングをData Meshに組み込む先駆的なアプローチを導入します。
論文 参考訳(メタデータ) (2024-03-26T17:10:15Z) - Architectural Design Decisions for Self-Serve Data Platforms in Data
Meshes [3.627365672061558]
データメッシュは、分析的エンタープライズデータから大規模に価値を管理し、生成するための、新たな分散型アプローチである。
データの所有権は、データに最も近いビジネスドメインに移行し、データの共有と管理を自律的な製品として促進し、フェデレートされた自動データガバナンスモデルを使用する。
データメッシュは、データプロダクトを効率的に構築、共有、管理するために、ドメインチームとガバナンスチームにサービスを提供するマネージドデータプラットフォームに依存しています。
論文 参考訳(メタデータ) (2024-02-07T09:13:26Z) - Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。
次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。
提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-11-22T22:15:17Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳(メタデータ) (2021-10-08T14:55:32Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳(メタデータ) (2021-09-28T02:59:40Z) - A Proactive Management Scheme for Data Synopses at the Edge [20.711789781518753]
Edge Computingエコシステムに多数の処理ノードがあるIoT(Internet of Things)は、インテリジェントアプリケーションをサポートするための新たな経路を開く。
このようなアプリケーションは、ネットワークを介してエッジノードに転送されるIoTデバイスによって収集された膨大な量のデータに対して提供される。
議論されたデータ上でさまざまな処理アクティビティを実行することができ、ECノード間の複数の協調的な機会は、望ましいタスクの実行を容易にします。
本稿では、類似したデータを持つピアノードについて必要な知識を提供するために、ECノード間の実際のデータよりもデータシナプスの交換を推奨する。
論文 参考訳(メタデータ) (2021-07-22T10:22:37Z) - Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。
理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。
私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文 参考訳(メタデータ) (2021-02-09T13:58:33Z) - A decentralized aggregation mechanism for training deep learning models
using smart contract system for bank loan prediction [0.1933681537640272]
スマートコントラクトシステムを用いてディープラーニングアーキテクチャのトレーニングを行う場合,分散データ設定のメリットを享受するソリューションを提案する。
ブロックチェーン上でのローカルANNモデルから得られた中間表現を集約する機構を提案する。
得られたパフォーマンスは、個々のノードよりも優れているが、集中型データ設定と同等である。
論文 参考訳(メタデータ) (2020-11-22T10:47:45Z) - National Access Points for Intelligent Transport Systems Data: From
Conceptualization to Benefits Recognition and Exploitation [55.41644538483948]
欧州連合は各加盟国による国家アクセスポイント(NAP)の開発を提案した。
本稿では,ITS エコシステムにおける NAP の役割を確認し,そのようなプラットフォームの設計手法を検討することを目的としており,拡張されたユースケースの起草を通じて NAP の運用プロセスを紹介し,そのメリットを特定のステップに関連付けることを目的とする。
論文 参考訳(メタデータ) (2020-10-14T17:13:00Z) - Variable-Based Network Analysis of Datasets on Data Exchange Platforms [0.15229257192293197]
2つのデータプラットフォームサービス上のデータセットのメタデータに対して,新しい変数ベース構造解析を用いたネットワークアプローチを適用する。
データネットワークの構造は、人間関係のネットワークと同様、局所的に密集しており、非常に順応的であることに注意された。
論文 参考訳(メタデータ) (2020-03-11T04:42:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。