論文の概要: Machine Learning Data Practices through a Data Curation Lens: An Evaluation Framework

• arxiv url: http://arxiv.org/abs/2405.02703v1
• Date: Sat, 4 May 2024 16:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:49:54.442704
• Title: Machine Learning Data Practices through a Data Curation Lens: An Evaluation Framework
• Title（参考訳）: データキュレーションレンズによる機械学習データ実践:評価フレームワーク
• Authors: Eshta Bhardwaj, Harshit Gujral, Siyi Wu, Ciara Zogheib, Tegan Maharaj, Christoph Becker,
• Abstract要約: 機械学習におけるデータプラクティスをデータキュレーションの実践として評価する。 機械学習の研究者たちは、しばしばモデル開発を強調するが、標準的なデータキュレーションの原則を適用するのに苦労している。
• 参考スコア（独自算出の注目度）: 1.5993707490601146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Studies of dataset development in machine learning call for greater attention to the data practices that make model development possible and shape its outcomes. Many argue that the adoption of theory and practices from archives and data curation fields can support greater fairness, accountability, transparency, and more ethical machine learning. In response, this paper examines data practices in machine learning dataset development through the lens of data curation. We evaluate data practices in machine learning as data curation practices. To do so, we develop a framework for evaluating machine learning datasets using data curation concepts and principles through a rubric. Through a mixed-methods analysis of evaluation results for 25 ML datasets, we study the feasibility of data curation principles to be adopted for machine learning data work in practice and explore how data curation is currently performed. We find that researchers in machine learning, which often emphasizes model development, struggle to apply standard data curation principles. Our findings illustrate difficulties at the intersection of these fields, such as evaluating dimensions that have shared terms in both fields but non-shared meanings, a high degree of interpretative flexibility in adapting concepts without prescriptive restrictions, obstacles in limiting the depth of data curation expertise needed to apply the rubric, and challenges in scoping the extent of documentation dataset creators are responsible for. We propose ways to address these challenges and develop an overall framework for evaluation that outlines how data curation concepts and methods can inform machine learning data practices.
• Abstract（参考訳）: 機械学習におけるデータセット開発の研究は、モデル開発を可能にし、結果を形成するデータプラクティスにより多くの注意を払っている。 多くの人は、アーカイブやデータキュレーション分野からの理論と実践を採用することで、より公正さ、説明責任、透明性、より倫理的な機械学習をサポートすることができると主張している。 そこで本研究では,データキュレーションのレンズによる機械学習データセット開発におけるデータ実践について検討する。 機械学習におけるデータプラクティスをデータキュレーションの実践として評価する。 そこで我々は,データキュレーションの概念と原則を用いた機械学習データセット評価フレームワークを開発した。 25のMLデータセットに対する評価結果の混合手法分析を通じて、機械学習データ処理に採用すべきデータキュレーション原則の実現可能性について検討し、現在どのようにデータキュレーションが行われているかを検討する。 機械学習の研究者たちは、しばしばモデル開発を強調するが、標準的なデータキュレーションの原則を適用するのに苦労している。 本研究は, 両分野の用語を共有した次元の評価, 規範的制約を伴わない概念の適応における高い解釈柔軟性, ルーブリックの適用に必要なデータキュレーションの専門知識の深さの制限, データセット作成者が責任を負う範囲をスクーピングする際の課題など, これらの分野の共通部分における課題について考察した。 我々はこれらの課題に対処する方法を提案し、データキュレーションの概念や手法が機械学習のデータプラクティスにどのように影響するかを概説する、評価のための全体的なフレームワークを開発する。

関連論文リスト

• The State of Data Curation at NeurIPS: An Assessment of Dataset Development Practices in the Datasets and Benchmarks Track [1.5993707490601146]
  この研究は、データキュレーションのレンズを通してNeurIPSにおけるデータセット開発プラクティスの分析を提供する。 本稿では,ルーブリックとツールキットからなるデータセットドキュメンテーションの評価フレームワークを提案する。 結果は、環境のフットプリント、倫理的考慮、データ管理に関するドキュメントの必要性がさらに高まっていることを示している。
  論文  参考訳（メタデータ） (2024-10-29T19:07:50Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• AI Competitions and Benchmarks: Dataset Development [42.164845505628506]
  本章では,我々の実践経験に富んだ,確立した方法論ツールの概要について概観する。 データセット開発に関わるタスクを開発し、その効果的な管理に関する洞察を提供する。 次に、データ収集、変換、品質評価を含む実装プロセスの詳細について述べる。
  論文  参考訳（メタデータ） (2024-04-15T12:01:42Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
  DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。 私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。 ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
  論文  参考訳（メタデータ） (2022-07-20T17:47:54Z)
• A survey on datasets for fairness-aware machine learning [6.962333053044713]
  多くのフェアネス対応機械学習ソリューションが提案されている。 本稿では,フェアネスを意識した機械学習に使用される実世界のデータセットについて概説する。 データセットのバイアスと公平性についてより深く理解するために、探索分析を用いて興味深い関係を考察する。
  論文  参考訳（メタデータ） (2021-10-01T16:54:04Z)
• Do Datasets Have Politics? Disciplinary Values in Computer Vision Dataset Development [6.182409582844314]
  約500のコンピュータビジョンデータセットのコーパスを収集し、そこから異なるビジョンタスクで114のデータセットパブリッシュをサンプリングしました。 我々は、コンピュータビジョンデータセットの著者が、ケアを犠牲にして効率をどのように評価するか、コンテキストを犠牲にして普遍性、データ作業を犠牲にしてモデルワークをいかに評価するかについて議論する。 私たちは、沈黙された値をデータセットの生成とキュレーションプロセスにどのように組み込むか、という提案で締めくくります。
  論文  参考訳（メタデータ） (2021-08-09T19:07:58Z)
• Representation Matters: Assessing the Importance of Subgroup Allocations in Training Data [85.43008636875345]
  訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。 分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
  論文  参考訳（メタデータ） (2021-03-05T00:27:08Z)
• Data and its (dis)contents: A survey of dataset development and use in machine learning research [11.042648980854487]
  機械学習におけるデータの収集と利用方法に関する多くの懸念を調査します。 この分野の実践的かつ倫理的な問題のいくつかに対処するには、データのより慎重で徹底した理解が必要であると主張する。
  論文  参考訳（メタデータ） (2020-12-09T22:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。