論文の概要: DMOps: Data Management Operation and Recipes
- arxiv url: http://arxiv.org/abs/2301.01228v1
- Date: Mon, 2 Jan 2023 09:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 15:32:20.257304
- Title: DMOps: Data Management Operation and Recipes
- Title(参考訳): DMOps: データ管理の運用と準備
- Authors: Eujeong Choi, Chanjun Park
- Abstract要約: データ中心のAIは、機械学習(ML)パイプライン内のデータの重要性に光を当てている。
「データ・マネジメント・オペレーション・レシピ」は、業務やドメインに関係なく業界をガイドします。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-centric AI has shed light on the significance of data within the machine
learning (ML) pipeline. Acknowledging its importance, various research and
policies are suggested by academia, industry, and government departments.
Although the capability of utilizing existing data is essential, the capability
to build a dataset has become more important than ever. In consideration of
this trend, we propose a "Data Management Operation and Recipes" that will
guide the industry regardless of the task or domain. In other words, this paper
presents the concept of DMOps derived from real-world experience. By offering a
baseline for building data, we want to help the industry streamline its data
operation optimally.
- Abstract(参考訳): データ中心のAIは、機械学習(ML)パイプライン内のデータの重要性に光を当てている。
その重要性を認め、学界、産業、政府部門から様々な研究と政策が提案されている。
既存のデータを利用する能力は不可欠だが、データセットを構築する能力はこれまで以上に重要になっている。
この傾向を考慮し、タスクやドメインに関係なく業界を導く「データ管理操作とレシピ」を提案する。
言い換えると、本論文は実世界体験から派生したdmopsの概念を提案する。
データ構築のベースラインを提供することで、私たちは業界がそのデータ運用を最適に合理化したいと考えています。
関連論文リスト
- Data Management For Large Language Models: A Survey [66.59562797566163]
大規模言語モデル(LLM)の訓練におけるデータの役割
本調査は,LLMの事前学習および教師付き微調整段階におけるデータ管理の現状を概観する。
論文 参考訳(メタデータ) (2023-12-04T07:42:16Z) - Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。
次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。
提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-11-22T22:15:17Z) - Optimizing the AI Development Process by Providing the Best Support
Environment [0.756282840161499]
機械学習の主なステージは、問題理解、データ管理、モデル構築、モデル展開、メンテナンスである。
このフレームワークは、ディープラーニングの進歩を使ってデータ拡張を実行するために、python言語を使用して構築された。
論文 参考訳(メタデータ) (2023-04-29T00:44:50Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - Deep Reinforcement Learning Assisted Federated Learning Algorithm for
Data Management of IIoT [82.33080550378068]
産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。
IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。
本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
論文 参考訳(メタデータ) (2022-02-03T07:12:36Z) - Big Machinery Data Preprocessing Methodology for Data-Driven Models in
Prognostics and Health Management [0.0]
本稿では,複雑なシステムからの監視データの事前処理のための包括的,ステップバイステップパイプラインを提案する。
データ選択とラベル生成の文脈で専門家の知識の重要性を論じる。
検証のために2つのケーススタディが提示され、最終的な目標は、健全で不健康なラベルでクリーンなデータセットを作成することである。
論文 参考訳(メタデータ) (2021-10-08T17:10:12Z) - On The State of Data In Computer Vision: Human Annotations Remain
Indispensable for Developing Deep Learning Models [0.0]
高品質ラベル付きデータセットは機械学習(ML)の発展に重要な役割を果たす
2012年にImageNetデータセットとAlexNetモデルが登場して以来、新しいオープンソースのラベル付きビジョンデータセットのサイズはほぼ一定である。
コンピュータビジョンコミュニティの少数の出版物は、Imagenetよりも桁違いの大きさのデータセットの教師付き学習に取り組む。
論文 参考訳(メタデータ) (2021-07-31T00:08:21Z) - An Empirical Survey of Data Augmentation for Limited Data Learning in
NLP [88.65488361532158]
豊富なデータへの依存は、低リソース設定や新しいタスクにNLPモデルを適用するのを防ぐ。
NLPにおけるデータ効率を改善する手段として,データ拡張手法が検討されている。
限定ラベル付きデータ設定におけるNLPのデータ拡張に関する最近の進展を実証的に調査する。
論文 参考訳(メタデータ) (2021-06-14T15:27:22Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳(メタデータ) (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。