論文の概要: Data Mesh: Motivational Factors, Challenges, and Best Practices
- arxiv url: http://arxiv.org/abs/2302.01713v1
- Date: Fri, 3 Feb 2023 13:09:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 16:17:43.798113
- Title: Data Mesh: Motivational Factors, Challenges, and Best Practices
- Title（参考訳）: データメッシュ: モチベーション要因,課題,ベストプラクティス
- Authors: Jan Bode, Niklas K\"uhl, Dominik Kreuzberger, Sebastian Hirschl
- Abstract要約: データメッシュは、データの民主化を促進するためのアーキテクチャ的な側面を含む、社会技術的概念である。
業界の専門家との15の半構造化インタビューを行います。
我々の研究は、業界の専門家による洞察を合成し、データメッシュの採用を成功させるためのガイドラインを研究者や専門家に提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the increasing importance of data and artificial intelligence,
organizations strive to become more data-driven. However, current data
architectures are not necessarily designed to keep up with the scale and scope
of data and analytics use cases. In fact, existing architectures often fail to
deliver the promised value associated with them. Data mesh is a socio-technical
concept that includes architectural aspects to promote data democratization and
enables organizations to become truly data-driven. As the concept of data mesh
is still novel, it lacks empirical insights from the field. Specifically, an
understanding of the motivational factors for introducing data mesh, the
associated challenges, best practices, its business impact, and potential
archetypes, is missing. To address this gap, we conduct 15 semi-structured
interviews with industry experts. Our results show, among other insights, that
industry experts have difficulties with the transition toward federated
governance associated with the data mesh concept, the shift of responsibility
for the development, provision, and maintenance of data products, and the
concept of a data product model. In our work, we derive multiple best practices
and suggest organizations embrace elements of data fabric, observe the data
product usage, create quick wins in the early phases, and favor small dedicated
teams that prioritize data products. While we acknowledge that organizations
need to apply best practices according to their individual needs, we also
deduct two archetypes that provide suggestions in more detail. Our findings
synthesize insights from industry experts and provide researchers and
professionals with guidelines for the successful adoption of data mesh.
- Abstract（参考訳）: データと人工知能の重要性が高まり、組織はデータ駆動型になることを目指している。
しかし、現在のデータアーキテクチャは必ずしもデータとアナリティクスのユースケースの規模と範囲に対応するように設計されているわけではない。
実際、既存のアーキテクチャは、しばしばそれらに関連する約束された価値を提供できない。
データメッシュは、データの民主化を促進し、組織を真にデータ駆動にするためのアーキテクチャ的な側面を含む、社会技術的概念である。
データメッシュの概念はまだ新しいので、現場からの経験的な洞察が欠けている。
具体的には、データメッシュ導入の動機付け要因、関連する課題、ベストプラクティス、ビジネスへの影響、潜在的アーチタイプを理解することが欠けている。
このギャップに対処するため、業界の専門家との15の半構造化インタビューを実施します。
我々の結果は、業界の専門家が、データメッシュの概念、データ製品の開発、プロビジョニング、保守に対する責任のシフト、データ製品モデルの概念に関連するフェデレーションガバナンスへの移行に苦慮していることを示している。
当社の作業では、複数のベストプラクティスを導き、データファブリックの要素を取り入れ、データ製品の使用を観察し、初期段階で素早く成果を上げ、データプロダクトを優先する小さな専用チームを好むことを推奨しています。
組織は個々のニーズに応じてベストプラクティスを適用する必要があることは認めていますが、より詳細な提案を提供する2つのアーチタイプも提案しています。
我々の研究は、業界の専門家による洞察を合成し、データメッシュの採用を成功させるためのガイドラインを研究者や専門家に提供する。
関連論文リスト
- Blockchain-Enabled Accountability in Data Supply Chain: A Data Bill of Materials Approach [16.31469678670097]
データ請求書(Data Bill of Materials, DataBOM)は、特定のメタデータを格納することで、異なるデータセットと利害関係者間の依存関係関係をキャプチャする。
ブロックチェーンベースのDataBOMサービスを提供するためのプラットフォームアーキテクチャを実証し、利害関係者のためのインタラクションプロトコルを提示し、DataBOMメタデータの最小要件について議論する。
論文 参考訳（メタデータ） (2024-08-16T05:34:50Z) - Empowering Data Mesh with Federated Learning [5.087058648342379]
新しいパラダイムであるData Meshは、中央チームから各データドメインにデータオーナシップを分散することで、ドメインを第一級の関心事として扱う。
Paypal、Netflix、Zalandoといった数十万ドルの企業はすでに、この新しいアーキテクチャに基づいてデータ分析パイプラインを変革している。
我々はフェデレートラーニングをData Meshに組み込む先駆的なアプローチを導入します。
論文 参考訳（メタデータ） (2024-03-26T17:10:15Z) - Capture the Flag: Uncovering Data Insights with Large Language Models [90.47038584812925]
本研究では,Large Language Models (LLMs) を用いてデータの洞察の発見を自動化する可能性について検討する。
そこで本稿では,データセット内の意味的かつ関連する情報(フラグ)を識別する能力を測定するために,フラグを捕捉する原理に基づく新しい評価手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T14:20:06Z) - Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。
次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。
提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-11-22T22:15:17Z) - Enabling Inter-organizational Analytics in Business Networks Through
Meta Machine Learning [0.0]
センシティブな情報を開示すると同時に、交換が必要なデータの量の多さが、効果的なシステムワイドソリューションの創出の鍵となるインヒビターである。
本稿では,これらの障害に対処し,ビジネスネットワーク内の包括的分析を可能にするメタ機械学習手法を提案する。
論文 参考訳（メタデータ） (2023-03-28T09:06:28Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳（メタデータ） (2022-07-20T17:47:54Z) - INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
我々はInterNという新しい学習パラダイムを開発した。
複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。
ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T18:42:50Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳（メタデータ） (2021-09-28T02:59:40Z) - Occams Razor for Big Data? On Detecting Quality in Large Unstructured
Datasets [0.0]
分析複雑性への新たな傾向は、科学におけるパシモニーやオッカム・ラザーの原理にとって深刻な課題である。
データクラスタリングのための計算的ビルディングブロックアプローチは、最小の計算時間で大規模な非構造化データセットを扱うのに役立つ。
このレビューは、東西の文化的な違いがビッグデータ分析の過程にどのように影響するかを結論付けている。
論文 参考訳（メタデータ） (2020-11-12T16:06:01Z) - Towards Accountability for Machine Learning Datasets: Practices from
Software Engineering and Infrastructure [9.825840279544465]
機械学習を強化するデータセットは、しばしば使われ、共有され、再使用される。
本稿では、意思決定と説明責任をサポートするデータセット開発透明性のための厳格なフレームワークを紹介する。
論文 参考訳（メタデータ） (2020-10-23T01:57:42Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。