論文の概要: Croissant: A Metadata Format for ML-Ready Datasets

• arxiv url: http://arxiv.org/abs/2403.19546v3
• Date: Mon, 09 Dec 2024 18:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:28.241168
• Title: Croissant: A Metadata Format for ML-Ready Datasets
• Title（参考訳）: Croissant:ML対応データセットのメタデータフォーマット
• Authors: Mubashara Akhtar, Omar Benjelloun, Costanza Conforti, Luca Foschini, Joan Giner-Miguelez, Pieter Gijsbers, Sujata Goswami, Nitisha Jain, Michalis Karamousadakis, Michael Kuchnik, Satyapriya Krishna, Sylvain Lesage, Quentin Lhoest, Pierre Marcenac, Manil Maskey, Peter Mattson, Luis Oala, Hamidah Oderinwale, Pierre Ruyssen, Tim Santos, Rajat Shinde, Elena Simperl, Arjun Suresh, Goeffry Thomas, Slava Tykhonov, Joaquin Vanschoren, Susheel Varma, Jos van der Velde, Steffen Vogler, Carole-Jean Wu, Luyao Zhang,
• Abstract要約: Croissantは、MLツール、フレームワーク、プラットフォーム間で共有表現を生成するデータセットのメタデータフォーマットである。 人間のレーティングによる最初の評価は、クロワサンのメタデータは読みやすく、理解しやすく、完全で、簡潔であることを示している。
• 参考スコア（独自算出の注目度）: 15.856642334488459
• License:
• Abstract: Data is a critical resource for machine learning (ML), yet working with data remains a key friction point. This paper introduces Croissant, a metadata format for datasets that creates a shared representation across ML tools, frameworks, and platforms. Croissant makes datasets more discoverable, portable, and interoperable, thereby addressing significant challenges in ML data management. Croissant is already supported by several popular dataset repositories, spanning hundreds of thousands of datasets, enabling easy loading into the most commonly-used ML frameworks, regardless of where the data is stored. Our initial evaluation by human raters shows that Croissant metadata is readable, understandable, complete, yet concise.
• Abstract（参考訳）: データは機械学習(ML)にとって重要なリソースであるが、データを扱うことは重要な摩擦点である。 本稿では、MLツール、フレームワーク、プラットフォーム間で共有表現を生成するデータセットのメタデータフォーマットであるCroissantを紹介する。 Croissantは、データセットをより見つけやすく、ポータブルで、相互運用可能にし、MLデータ管理における大きな課題に対処する。 Croissantはすでに、数十万のデータセットにまたがる人気のデータセットリポジトリによってサポートされており、データがどこに格納されているかに関わらず、最も一般的に使用されているMLフレームワークへの簡単にローディングを可能にしている。 人間のレーティングによる最初の評価は、クロワサンのメタデータは読みやすく、理解しやすく、完全で、簡潔であることを示している。

関連論文リスト

• Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
  所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
  論文  参考訳（メタデータ） (2024-10-07T17:59:58Z)
• MMM: Multilingual Mutual Reinforcement Effect Mix Datasets & Test with Open-domain Information Extraction Large Language Models [10.242002062961083]
  英語,日本語,中国語の21のサブデータセットを含むMultilingual MRE混合データセット(MMM)を提案する。 また,Large Language Models (LLM) を用いたデータセット翻訳手法を提案する。 オープンドメイン情報抽出大言語モデル(OIELLM)を学習するための統合入力出力フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-07-15T17:50:43Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• A Standardized Machine-readable Dataset Documentation Format for Responsible AI [8.59437843168878]
  Croissant-RAIは、AIデータセットの発見性、相互運用性、信頼性を高めるために設計された、機械可読なメタデータフォーマットである。 主要なデータ検索エンジン、リポジトリ、機械学習フレームワークに統合されている。
  論文  参考訳（メタデータ） (2024-06-04T16:40:14Z)
• LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
  本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。 我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-06-03T15:30:36Z)
• Better Synthetic Data by Retrieving and Transforming Existing Datasets [63.875064274379824]
  我々は、データセットの自動生成を改善するために、公開データセットをよりよく利用する方法であるDataTuneを紹介した。 多様な言語ベースのタスクセットでは、DataTuneによる微調整言語モデルが改善され、ベースラインが49%向上する。 データセット変換は、多くのタスクにおいて生成されたデータの多様性と難易度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-22T17:15:32Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue [18.325675189960833]
  オープンで再現可能な研究をサポートするために、研究のために利用可能なデータセットが急速に増えている。 データセットの可用性が向上するにつれて、それらの発見と再利用のための品質メタデータを持つことがより重要になる。 本稿では,LLMに基づくインコンテキスト学習を通じて,大規模言語モデル(LLM)を用いて,主題メタデータのコスト効率のよいアノテーションを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:52:33Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• PyHard: a novel tool for generating hardness embeddings to support data-centric analysis [0.38233569758620045]
  PyHardは、複数のMLモデルの予測パフォーマンスに関連するデータセットの硬度埋め込みを生成する。 ユーザは、この埋め込みを複数の方法で操作することで、データとアルゴリズムのパフォーマンスに関する有用な洞察を得ることができる。 我々は、この分析が、MLモデルに挑戦するハードな観察のポケットの識別をどのように支援したかを示す。
  論文  参考訳（メタデータ） (2021-09-29T14:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。