論文の概要: DataPerf: Benchmarks for Data-Centric AI Development

• arxiv url: http://arxiv.org/abs/2207.10062v1
• Date: Wed, 20 Jul 2022 17:47:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 14:01:18.540020
• Title: DataPerf: Benchmarks for Data-Centric AI Development
• Title（参考訳）: DataPerf: データ中心AI開発のためのベンチマーク
• Authors: Mark Mazumder, Colby Banbury, Xiaozhe Yao, Bojan Karla\v{s}, William Gaviria Rojas, Sudnya Diamos, Greg Diamos, Lynn He, Douwe Kiela, David Jurado, David Kanter, Rafael Mosquera, Juan Ciro, Lora Aroyo, Bilge Acun, Sabri Eyuboglu, Amirata Ghorbani, Emmett Goodman, Tariq Kane, Christine R. Kirkpatrick, Tzu-Sheng Kuo, Jonas Mueller, Tristan Thrush, Joaquin Vanschoren, Margaret Warren, Adina Williams, Serena Yeung, Newsha Ardalani, Praveen Paritosh, Ce Zhang, James Zou, Carole-Jean Wu, Cody Coleman, Andrew Ng, Peter Mattson, Vijay Janapa Reddi
• Abstract要約: MLデータセットとデータセット処理アルゴリズムを評価するためのベンチマークパッケージであるDataPerfを紹介する。 トレーニングセットが同じ問題でテストセットを評価するのに役立つ"データラチェット"を有効にするつもりです。
• 参考スコア（独自算出の注目度）: 53.89214079538945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) research has generally focused on models, while the most prominent datasets have been employed for everyday ML tasks without regard for the breadth, difficulty, and faithfulness of these datasets to the underlying problem. Neglecting the fundamental importance of datasets has caused major problems involving data cascades in real-world applications and saturation of dataset-driven criteria for model quality, hindering research growth. To solve this problem, we present DataPerf, a benchmark package for evaluating ML datasets and dataset-working algorithms. We intend it to enable the "data ratchet," in which training sets will aid in evaluating test sets on the same problems, and vice versa. Such a feedback-driven strategy will generate a virtuous loop that will accelerate development of data-centric AI. The MLCommons Association will maintain DataPerf.
• Abstract（参考訳）: 機械学習(ML)の研究は一般的にモデルに焦点を当てているが、最も顕著なデータセットは、これらのデータセットの幅、難しさ、忠実さを考慮せずに、日々のMLタスクに採用されている。 データセットの基本的な重要性を無視することは、現実のアプリケーションにおけるデータカスケードや、モデル品質に関するデータセット駆動基準の飽和といった大きな問題を引き起こし、研究の成長を妨げる。 この問題を解決するために,MLデータセットとデータセット処理アルゴリズムを評価するベンチマークパッケージであるDataPerfを提案する。 私たちは、トレーニングセットが同じ問題に対するテストセットを評価するのに役立つ「データラチェット」を可能にすることを意図しています。 このようなフィードバック駆動型戦略は、データ中心のAIの開発を加速する活発なループを生成する。 MLCommons AssociationはDataPerfをメンテナンスする。

関連論文リスト

• Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning [3.623224034411137]
  オフラインマルチエージェント強化学習(英語: offline multi-agent reinforcement learning, MARL)は、静的データセットを用いてマルチエージェントシステムの最適制御ポリシーを見つける研究のエキサイティングな方向である。 この分野は定義上はデータ駆動型だが、これまでのところ、最先端の結果を達成するための努力は、データを無視してきた。 研究の大部分は、一貫した方法論を使わずに独自のデータセットを生成し、これらのデータセットの特徴に関するまばらな情報を提供する。
  論文  参考訳（メタデータ） (2024-09-18T14:13:24Z)
• Weak-Annotation of HAR Datasets using Vision Foundation Models [9.948823510429902]
  本稿では,アノテータがアノテータに注釈を付ける必要のあるデータの量を大幅に削減する,新しいクラスタリングベースのアノテーションパイプラインを提案する。 提案手法を用いることで,3つのHARベンチマークデータセットに対して平均的なラベル付け精度を90%近い精度で達成できることがわかった。
  論文  参考訳（メタデータ） (2024-08-09T16:46:53Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。 具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。 提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
  まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。 次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。 提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-11-22T22:15:17Z)
• LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting [65.71129509623587]
  道路交通予測はスマートシティのイニシアチブにおいて重要な役割を担い、ディープラーニングの力によって大きな進歩を遂げている。 しかし、現在の公開データセットで達成される有望な結果は、現実的なシナリオには適用できないかもしれない。 カリフォルニアで合計8,600のセンサーと5年間の時間カバレッジを含む、LargeSTベンチマークデータセットを紹介します。
  論文  参考訳（メタデータ） (2023-06-14T05:48:36Z)
• METAM: Goal-Oriented Data Discovery [9.73435089036831]
  METAMは目標指向のフレームワークで、下流タスクを候補データセットでクエリし、フィードバックループを形成して、発見と拡張プロセスを自動的に管理する。 我々はMETAMの理論的保証を示し、それらを幅広いタスクセットで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-18T15:42:25Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。