論文の概要: Understanding the Dataset Practitioners Behind Large Language Model Development

• arxiv url: http://arxiv.org/abs/2402.16611v1
• Date: Wed, 21 Feb 2024 23:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-03 19:20:15.058657
• Title: Understanding the Dataset Practitioners Behind Large Language Model Development
• Title（参考訳）: 大規模言語モデル開発の背景にあるデータセットの実践者を理解する
• Authors: Crystal Qian, Emily Reif, Minsuk Kahng
• Abstract要約: Googleにおける“データセットの実践者”の役割を定義します。 我々は,これらの実践者の横断的なインタビューを行う。 データ品質が最優先事項であることに気付きました。
• 参考スコア（独自算出の注目度）: 6.163378313745332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become more advanced and impactful, it is increasingly important to scrutinize the data that they rely upon and produce. What is it to be a dataset practitioner doing this work? We approach this in two parts: first, we define the role of "dataset practitioner" by performing a retrospective analysis on the responsibilities of teams contributing to LLM development at Google. Then, we conduct semi-structured interviews with a cross-section of these practitioners (N=10). We find that data quality is the top priority. To evaluate data quality, practitioners either rely on their own intuition or write custom evaluation logic. There is a lack of consensus across practitioners on what quality is and how to evaluate it. We discuss potential reasons for this phenomenon and opportunities for alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより高度で影響力のあるものになるにつれて、彼らが依存し、生成するデータを精査することがますます重要である。 この仕事をしているデータセットの実践者は何でしょう? まず、GoogleのLLM開発に貢献するチームの責任について、振り返り分析を行うことで、“データセットの実践者”の役割を定義します。 そして,これらの実践者の断面(N=10)で半構造化インタビューを行う。 データ品質が最優先事項であることに気付きました。 データ品質を評価するために、実践者は自身の直感に頼るか、独自の評価ロジックを書く。 品質とそれを評価する方法について、実践者間で合意が欠如している。 この現象の潜在的な理由と調整の機会について論じる。

関連論文リスト

• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
  Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:12Z)
• Capture the Flag: Uncovering Data Insights with Large Language Models [90.47038584812925]
  本研究では,Large Language Models (LLMs) を用いてデータの洞察の発見を自動化する可能性について検討する。 そこで本稿では,データセット内の意味的かつ関連する情報(フラグ)を識別する能力を測定するために,フラグを捕捉する原理に基づく新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T14:20:06Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Whose AI Dream? In search of the aspiration in data annotation [12.454034525520497]
  本稿では,インドにおける産業におけるデータアノテーションに関する業務実践について検討する。 以前の調査では、アノテータの主観性、偏見、効率性に主に焦点が当てられていた。 その結果,アノテータの作業は,ステーション上の他者の関心や優先順位,価値観によって決定されることがわかった。
  論文  参考訳（メタデータ） (2022-03-21T06:28:54Z)
• Whose Ground Truth? Accounting for Individual and Collective Identities Underlying Dataset Annotation [7.480972965984986]
  クラウドソーシングされたデータセットアノテーションに関する倫理的考察の洞察を提供する文献を調査する。 私たちは、アノテーションが誰であるか、そしてアノテーションの生きた経験がアノテーションにどのように影響するかという2つのレイヤに沿って、この分野の課題をレイアウトしました。 MLデータパイプラインのさまざまな段階において、データセット開発者に対して、具体的なレコメンデーションと考慮事項を提示した。
  論文  参考訳（メタデータ） (2021-12-08T19:56:56Z)
• Studying Up Machine Learning Data: Why Talk About Bias When We Mean Power? [0.0]
  我々は、社会的問題を「バイアス」に減らすことは、文脈に基づくデータの性質を損なうと論じている。 MLデータセットを形作るデータワーカーの労働にかかわる企業力と市場衝動に注目します。
  論文  参考訳（メタデータ） (2021-09-16T17:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。