論文の概要: Architecting Data-Intensive Applications : From Data Architecture Design
to Its Quality Assurance
- arxiv url: http://arxiv.org/abs/2401.12011v3
- Date: Sat, 9 Mar 2024 14:16:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 14:28:06.897527
- Title: Architecting Data-Intensive Applications : From Data Architecture Design
to Its Quality Assurance
- Title（参考訳）: データ集約型アプリケーションの構築 : データアーキテクチャ設計から品質保証まで
- Authors: Moamin Abughazala
- Abstract要約: データアーキテクチャは、ビジネスニーズを満たすためのデータの記述、収集、保存、処理、分析において重要である。
各種の業界領域において,DATを5つ以上のケースで評価し,その例外的な適応性と有効性を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context - The exponential growth of data is becoming a significant concern.
Managing this data has become incredibly challenging, especially when dealing
with various sources in different formats and speeds. Moreover, Ensuring data
quality has become increasingly crucial for effective decision-making and
operational processes. Data Architecture is crucial in describing, collecting,
storing, processing, and analyzing data to meet business needs. Providing an
abstract view of data-intensive applications is essential to ensure that the
data is transformed into valuable information. We must take these challenges
seriously to ensure we can effectively manage and use the data to our
advantage. Objective - To establish an architecture framework that enables a
comprehensive description of the data architecture and effectively streamlines
data quality monitoring. Method - The architecture framework utilizes Model
Driven Engineering (MDE) techniques. Its backing of data-intensive architecture
descriptions empowers with an automated generation for data quality checks.
Result - The Framework offers a comprehensive solution for data-intensive
applications to model their architecture efficiently and monitor the quality of
their data. It automates the entire process and ensures precision and
consistency in data. With DAT, architects and analysts gain access to a
powerful tool that simplifies their workflow and empowers them to make informed
decisions based on reliable data insights. Conclusion - We have evaluated the
DAT on more than five cases within various industry domains, demonstrating its
exceptional adaptability and effectiveness.
- Abstract（参考訳）: コンテキスト - データの指数的な成長は重要な関心事になりつつある。
このデータの管理は、特にさまざまなフォーマットと速度でさまざまなソースを扱う場合、非常に難しくなっています。
さらに、効果的な意思決定と運用プロセスでは、データ品質の確保がますます重要になっている。
データアーキテクチャは、ビジネスニーズを満たすデータの記述、収集、保存、処理、分析に不可欠である。
データ集約型アプリケーションの抽象的なビューを提供することは、データが貴重な情報に変換されることを保証するために不可欠である。
データを効果的に管理し、活用できるように、これらの課題を真剣に受け止めなければなりません。
目的 - データアーキテクチャを包括的に記述し、データ品質監視を効果的に合理化するアーキテクチャフレームワークを確立する。
メソッド - アーキテクチャフレームワークはモデル駆動工学(MDE)技術を利用する。
データ集約型アーキテクチャ記述のバックアップは、データ品質チェックの自動生成を可能にする。
結果 - フレームワークは、データ集約型アプリケーションがアーキテクチャを効率的にモデル化し、データの品質を監視するための包括的なソリューションを提供する。
プロセス全体を自動化し、データの正確性と一貫性を保証する。
datによって、アーキテクトとアナリストはワークフローを単純化し、信頼できるデータ洞察に基づいてインフォームドな意思決定を行う強力なツールにアクセスできるようになる。
結論 - さまざまな業界領域で5件以上のケースでdatを評価し,その適用性と有効性を実証した。
関連論文リスト
- Best Practices and Lessons Learned on Synthetic Data for Language Models [83.63271573197026]
AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。
合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
論文 参考訳（メタデータ） (2024-04-11T06:34:17Z) - An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳（メタデータ） (2024-02-26T07:22:51Z) - Architectural Design Decisions for Self-Serve Data Platforms in Data
Meshes [3.627365672061558]
データメッシュは、分析的エンタープライズデータから大規模に価値を管理し、生成するための、新たな分散型アプローチである。
データの所有権は、データに最も近いビジネスドメインに移行し、データの共有と管理を自律的な製品として促進し、フェデレートされた自動データガバナンスモデルを使用する。
データメッシュは、データプロダクトを効率的に構築、共有、管理するために、ドメインチームとガバナンスチームにサービスを提供するマネージドデータプラットフォームに依存しています。
論文 参考訳（メタデータ） (2024-02-07T09:13:26Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Modeling Data Analytics Architecture for Smart Cities Data-Driven
Applications using DAT [1.8945921149936187]
この記事では、DATを利用したデータ駆動スマートシティアプリケーションのためのモデル駆動エンジニアリングを使用したデータ分析アーキテクチャ(DAA)の開発経験について紹介します。
DAAは、DATを利用したデータ駆動スマートシティアプリケーションにモデル駆動エンジニアリングを使用する。
論文 参考訳（メタデータ） (2023-07-17T21:52:57Z) - Data Architecture for Digital Object Space Management Service (DOSM)
using DAT [1.8945921149936187]
この研究は、データの動き、データフォーマット、データ位置、データ処理(バッチまたはリアルタイム)、データストレージ技術、およびデータ上の主要な操作を記述することに焦点を当てている。
データアーキテクチャは、ソースから目的地へのデータフローを記述する複雑なタスクである。
論文 参考訳（メタデータ） (2023-06-22T14:22:56Z) - DAT: Data Architecture Modeling Tool for Data-Driven Applications [1.6037279419318131]
データアーキテクチャ(DA)は、ビジネスニーズを満たすためのデータの記述、収集、保存、処理、分析に焦点を当てている。
DATは、データアーキテクト、データエンジニア、その他のステークホルダーが、システムを通してデータがどのように流れるかを記述することを可能にする、モデル駆動のエンジニアリングツールです。
論文 参考訳（メタデータ） (2023-06-21T11:24:59Z) - How Much More Data Do I Need? Estimating Requirements for Downstream
Tasks [99.44608160188905]
小さなトレーニングデータセットと学習アルゴリズムがあれば、ターゲットの検証やテストのパフォーマンスに到達するのに、どれくらいのデータが必要か?
データ要求を過大評価または過小評価すると、十分な予算で回避できる相当なコストが発生する。
本ガイドラインを用いることで,機械学習システムのデータ要求を正確に推定し,開発時間とデータ取得コストの双方で節約することができる。
論文 参考訳（メタデータ） (2022-07-04T21:16:05Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳（メタデータ） (2021-09-28T02:59:40Z) - AdaXpert: Adapting Neural Architecture for Growing Data [63.30393509048505]
実世界のアプリケーションでは、データボリュームとクラス数が動的に増加する可能性があるため、データが増大することが多い。
データボリュームの増加やクラスの数を考えると、期待できるパフォーマンスを得るためには、ニューラルネットワークのキャパシティを瞬時に調整する必要がある。
既存のメソッドは、データの増大する性質を無視したり、特定のデータセットの最適なアーキテクチャを独立して検索しようとする。
論文 参考訳（メタデータ） (2021-07-01T07:22:05Z) - Towards an Integrated Platform for Big Data Analysis [4.5257812998381315]
本稿では,これらすべての側面を統合した,ビッグデータ解析のための統合型プレート形式のビジョンについて述べる。
このアプローチの主な利点は、プラットフォーム全体の拡張スケーラビリティ、アルゴリズムのパラメータ化の改善、エンドツーエンドのデータ分析プロセスにおけるユーザビリティの改善である。
論文 参考訳（メタデータ） (2020-04-27T03:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。