論文の概要: Understanding the Dataset Practitioners Behind Large Language Model Development

• arxiv url: http://arxiv.org/abs/2402.16611v1
• Date: Wed, 21 Feb 2024 23:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-03 19:20:15.058657
• Title: Understanding the Dataset Practitioners Behind Large Language Model Development
• Title（参考訳）: 大規模言語モデル開発の背景にあるデータセットの実践者を理解する
• Authors: Crystal Qian, Emily Reif, Minsuk Kahng
• Abstract要約: Googleにおける“データセットの実践者”の役割を定義します。 我々は,これらの実践者の横断的なインタビューを行う。 データ品質が最優先事項であることに気付きました。
• 参考スコア（独自算出の注目度）: 6.163378313745332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become more advanced and impactful, it is increasingly important to scrutinize the data that they rely upon and produce. What is it to be a dataset practitioner doing this work? We approach this in two parts: first, we define the role of "dataset practitioner" by performing a retrospective analysis on the responsibilities of teams contributing to LLM development at Google. Then, we conduct semi-structured interviews with a cross-section of these practitioners (N=10). We find that data quality is the top priority. To evaluate data quality, practitioners either rely on their own intuition or write custom evaluation logic. There is a lack of consensus across practitioners on what quality is and how to evaluate it. We discuss potential reasons for this phenomenon and opportunities for alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより高度で影響力のあるものになるにつれて、彼らが依存し、生成するデータを精査することがますます重要である。 この仕事をしているデータセットの実践者は何でしょう? まず、GoogleのLLM開発に貢献するチームの責任について、振り返り分析を行うことで、“データセットの実践者”の役割を定義します。 そして,これらの実践者の断面(N=10)で半構造化インタビューを行う。 データ品質が最優先事項であることに気付きました。 データ品質を評価するために、実践者は自身の直感に頼るか、独自の評価ロジックを書く。 品質とそれを評価する方法について、実践者間で合意が欠如している。 この現象の潜在的な理由と調整の機会について論じる。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• Capture the Flag: Uncovering Data Insights with Large Language Models [90.47038584812925]
  本研究では,Large Language Models (LLMs) を用いてデータの洞察の発見を自動化する可能性について検討する。 そこで本稿では,データセット内の意味的かつ関連する情報(フラグ)を識別する能力を測定するために,フラグを捕捉する原理に基づく新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T14:20:06Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• Whose AI Dream? In search of the aspiration in data annotation [12.454034525520497]
  本稿では,インドにおける産業におけるデータアノテーションに関する業務実践について検討する。 以前の調査では、アノテータの主観性、偏見、効率性に主に焦点が当てられていた。 その結果,アノテータの作業は,ステーション上の他者の関心や優先順位,価値観によって決定されることがわかった。
  論文  参考訳（メタデータ） (2022-03-21T06:28:54Z)
• Whose Ground Truth? Accounting for Individual and Collective Identities Underlying Dataset Annotation [7.480972965984986]
  クラウドソーシングされたデータセットアノテーションに関する倫理的考察の洞察を提供する文献を調査する。 私たちは、アノテーションが誰であるか、そしてアノテーションの生きた経験がアノテーションにどのように影響するかという2つのレイヤに沿って、この分野の課題をレイアウトしました。 MLデータパイプラインのさまざまな段階において、データセット開発者に対して、具体的なレコメンデーションと考慮事項を提示した。
  論文  参考訳（メタデータ） (2021-12-08T19:56:56Z)
• Studying Up Machine Learning Data: Why Talk About Bias When We Mean Power? [0.0]
  我々は、社会的問題を「バイアス」に減らすことは、文脈に基づくデータの性質を損なうと論じている。 MLデータセットを形作るデータワーカーの労働にかかわる企業力と市場衝動に注目します。
  論文  参考訳（メタデータ） (2021-09-16T17:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。