論文の概要: Understanding Machine Learning Practitioners' Data Documentation Perceptions, Needs, Challenges, and Desiderata

• arxiv url: http://arxiv.org/abs/2206.02923v1
• Date: Mon, 6 Jun 2022 21:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 06:43:43.592687
• Title: Understanding Machine Learning Practitioners' Data Documentation Perceptions, Needs, Challenges, and Desiderata
• Title（参考訳）: 機械学習実践者のデータドキュメンテーションの認識、ニーズ、課題、デシラタを理解する
• Authors: Amy Heger, Elizabeth B. Marquis, Mihaela Vorvoreanu, Hanna Wallach, Jennifer Wortman Vaughan
• Abstract要約: データは機械学習(ML)モデルの開発と評価の中心である。 責任あるAIの実践を促進するために、研究者と実践者はデータドキュメントの増加を提唱し始めた。 これらのデータドキュメンテーションフレームワークがML実践者のニーズを満たすかどうかについてはほとんど研究されていない。
• 参考スコア（独自算出の注目度）: 10.689661834716613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data is central to the development and evaluation of machine learning (ML) models. However, the use of problematic or inappropriate datasets can result in harms when the resulting models are deployed. To encourage responsible AI practice through more deliberate reflection on datasets and transparency around the processes by which they are created, researchers and practitioners have begun to advocate for increased data documentation and have proposed several data documentation frameworks. However, there is little research on whether these data documentation frameworks meet the needs of ML practitioners, who both create and consume datasets. To address this gap, we set out to understand ML practitioners' data documentation perceptions, needs, challenges, and desiderata, with the goal of deriving design requirements that can inform future data documentation frameworks. We conducted a series of semi-structured interviews with 14 ML practitioners at a single large, international technology company. We had them answer a list of questions taken from datasheets for datasets (Gebru, 2021). Our findings show that current approaches to data documentation are largely ad hoc and myopic in nature. Participants expressed needs for data documentation frameworks to be adaptable to their contexts, integrated into their existing tools and workflows, and automated wherever possible. Despite the fact that data documentation frameworks are often motivated from the perspective of responsible AI, participants did not make the connection between the questions that they were asked to answer and their responsible AI implications. In addition, participants often had difficulties prioritizing the needs of dataset consumers and providing information that someone unfamiliar with their datasets might need to know. Based on these findings, we derive seven design requirements for future data documentation frameworks.
• Abstract（参考訳）: データは機械学習(ML)モデルの開発と評価の中心である。 しかし、問題のあるデータセットや不適切なデータセットを使用することは、結果のモデルがデプロイされたときに害をもたらす可能性がある。 データセットに対するより慎重なリフレクションと、それらが作成されるプロセスに関する透明性を通じて、責任あるaiの実践を促進するために、研究者や実践者はデータドキュメントの増加を提唱し始め、いくつかのデータドキュメントフレームワークを提案している。 しかし、これらのデータドキュメンテーションフレームワークがデータセットを作成し、消費するML実践者のニーズを満たすかどうかについてはほとんど研究されていない。 このギャップに対処するため、私たちは、ML実践者のデータドキュメンテーションの認識、ニーズ、課題、そしてデシラタを理解するために、将来のデータドキュメンテーションフレームワークに通知できる設計要件の導出を目標にしました。 1つの大規模国際技術企業で14人のML実践者との半構造化インタビューを行った。 データセット用のdatasheets(gebru, 2021)から取られた質問のリストに答えてもらいました。 以上の結果から,データドキュメンテーションへの現在のアプローチは,本質的にはアドホックかつミオピックであることがわかった。 参加者は、データドキュメントフレームワークが自身のコンテキストに適応し、既存のツールやワークフローに統合され、可能な限り自動化される必要性を表明した。 データドキュメンテーションフレームワークは、しばしば責任あるAIの観点から動機づけられるという事実にもかかわらず、参加者は回答を求められた質問と責任あるAIの影響との間には関連性を持たなかった。 加えて、参加者はデータセット消費者のニーズを優先順位付けし、データセットに慣れていない人が知る必要がある情報を提供するのが困難だった。 これらの知見に基づいて、将来のデータドキュメンテーションフレームワークの設計要件を7つ導き出す。

関連論文リスト

• Machine Learning Data Practices through a Data Curation Lens: An Evaluation Framework [1.5993707490601146]
  機械学習におけるデータプラクティスをデータキュレーションの実践として評価する。 機械学習の研究者たちは、しばしばモデル開発を強調するが、標準的なデータキュレーションの原則を適用するのに苦労している。
  論文  参考訳（メタデータ） (2024-05-04T16:21:05Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Navigating Dataset Documentations in AI: A Large-Scale Analysis of Dataset Cards on Hugging Face [46.60562029098208]
  私たちはHugging Faceで7,433のデータセットドキュメントを分析します。 本研究は,大規模データサイエンス分析によるデータセットの文書化に関するユニークな視点を提供する。
  論文  参考訳（メタデータ） (2024-01-24T21:47:13Z)
• Open Datasheets: Machine-readable Documentation for Open Datasets and Responsible AI Assessments [9.125552623625806]
  本稿では、オープンデータセットのための、ノーコードで機械可読なドキュメントフレームワークを紹介する。 このフレームワークは、オープンデータセットの理解性とユーザビリティを改善することを目的としている。 このフレームワークは、研究や意思決定に使用されるデータの質と信頼性を高めることが期待されている。
  論文  参考訳（メタデータ） (2023-12-11T06:41:14Z)
• Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
  まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。 次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。 提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-11-22T22:15:17Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [58.93352076927003]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• DAT: Data Architecture Modeling Tool for Data-Driven Applications [1.6037279419318131]
  データアーキテクチャ(DA)は、ビジネスニーズを満たすためのデータの記述、収集、保存、処理、分析に焦点を当てている。 DATは、データアーキテクト、データエンジニア、その他のステークホルダーが、システムを通してデータがどのように流れるかを記述することを可能にする、モデル駆動のエンジニアリングツールです。
  論文  参考訳（メタデータ） (2023-06-21T11:24:59Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• Documenting Data Production Processes: A Participatory Approach for Data Work [4.811554861191618]
  機械学習データの不透明さは 倫理的なデータ処理と 知的なシステムにとって 重大な脅威です これまでの研究では、データセットを文書化するための標準化されたチェックリストが提案されている。 本稿では,データセットのドキュメンテーションからデータ生成のドキュメンテーションへの視点転換を提案する。
  論文  参考訳（メタデータ） (2022-07-11T15:39:02Z)
• Data Cards: Purposeful and Transparent Dataset Documentation for Responsible AI [0.0]
  我々は、データセットの透明性、目的、人間中心のドキュメンテーションを促進するためのデータカードを提案する。 データカードは、利害関係者が必要とするMLデータセットのさまざまな側面に関する重要な事実の要約である。 実世界のユーティリティと人間中心性にデータカードを基盤とするフレームワークを提示する。
  論文  参考訳（メタデータ） (2022-04-03T13:49:36Z)
• REGRAD: A Large-Scale Relational Grasp Dataset for Safe and Object-Specific Robotic Grasping in Clutter [52.117388513480435]
  本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。 データセットは2D画像と3Dポイントクラウドの両方で収集されます。 ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
  論文  参考訳（メタデータ） (2021-04-29T05:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。