論文の概要: CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets

• arxiv url: http://arxiv.org/abs/2610.07132v1
• Date: Mon, 05 Oct 2026 17:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.571654
• Title: CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets
• Title（参考訳）: CroissantMiner: MLデータセットのためのCroissantメタデータの自動抽出と検証
• Abstract要約: 本稿では,コミュニティ標準スキーマに適合したメタデータ抽出のエンドツーエンド評価を可能にする最初のベンチマークを提案する。 ベンチマークは602枚の論文から成っており、そのうち102枚は有価金のアノテーションで、500枚はLLMの銀のアノテーションで作成されている。 このベンチマークを用いて、フロンティアモデル、オープンウェイトモデル、エージェントアーキテクチャにまたがるさまざまな抽出システムを評価する。
• 参考スコア（独自算出の注目度）: 33.61667870028359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Croissant has emerged as a standard for machine-readable dataset metadata, yet populating its fields remains labor-intensive and requires careful reading of accompanying dataset documentation. We present the first benchmark enabling end-to-end evaluation of metadata extraction aligned with a community-standard schema. The benchmark comprises 602 papers, including 102 with human-validated gold annotations and 500 with LLM-generated silver annotations, covering the full Croissant schema with both core and Responsible AI (RAI) fields. Using this benchmark, we evaluate a range of extraction systems spanning frontier models, open-weight models, and agentic architectures, under a two-tier evaluation framework that combines rule-based scoring with an LLM judge selected via human audit. We find that single-pass extraction consistently outperforms the four agentic architectures we evaluate: across backbones, these decomposed variants achieve lower accuracy than a single full-context pass. The largest gap appears on long-form RAI fields, which require synthesizing and interpreting information scattered across a paper rather than copying it from a single location, a setting where current systems remain far from reliable. We release the benchmark, evaluation code, judge audit, a live demo, and a leaderboard open to new systems.
• Abstract（参考訳）: Croissantは、マシン可読なデータセットメタデータの標準として登場したが、そのフィールドは依然として労働集約的であり、関連するデータセットのドキュメントを注意深く読む必要がある。 本稿では,コミュニティ標準スキーマに適合したメタデータ抽出のエンドツーエンド評価を可能にする最初のベンチマークを提案する。 ベンチマークには602の論文が含まれており、その中には、人間検証された金のアノテーションが102、LLM生成した銀のアノテーションが500、コアとレスポンシブルAI(RAI)の両方のフィールドでCroissantスキーマ全体をカバーしている。 本ベンチマークを用いて,フロンティアモデル,オープンウェイトモデル,エージェントアーキテクチャにまたがる抽出システムの範囲を,ルールベースのスコアリングと人間の監査によって選択されたLLM判定とを組み合わせた2階層評価フレームワークを用いて評価する。 シングルパス抽出は、評価した4つのエージェントアーキテクチャより一貫して優れており、バックボーン全体において、これらの分解された変種は単一のフルコンテキストパスよりも低い精度を達成する。 最も大きなギャップは、単一の場所からコピーするのではなく、紙に散らばった情報を合成して解釈する必要がある長い形式のRAIフィールドに現れます。 ベンチマーク、評価コード、審査監査、ライブデモ、新しいシステムにオープンなリーダーボードをリリースします。

関連論文リスト

• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• DOCR-Inspector: Fine-Grained and Automated Evaluation of Document Parsing with VLM [35.910677096654574]
  文書解析は、構造化されていないPDF画像を半構造化データに変換することを目的としており、多様な領域における情報のデジタル化と活用を容易にする。 一般的なプラクティスは、しばしば標準ベンチマークで最高のパフォーマンスモデルを選択する。 本稿では,文書解析評価をきめ細かな誤り検出と解析として形式化するDOCR-Inspectorを紹介する。
  論文  参考訳（メタデータ） (2025-12-11T13:16:33Z)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
  我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。 我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。 Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
  論文  参考訳（メタデータ） (2025-10-30T07:29:14Z)
• Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation [72.34977512403643]
  Retrieval-Augmented Generation (RAG) は、外部コーパスから関連文書を取得することで、大規模言語モデル(LLM)を強化するための強力なパラダイムとして登場した。 既存のRAGシステムは、主に平凡なテキスト文書に焦点を当てており、クエリとドキュメントの両方が(テキストや画像のような)混合モダリティを含む実世界のシナリオでは、しばしば不足している。 我々は,Universal Retrieval-Augmented Generationシナリオに適した混合モーダル-混合モーダルレトリバーであるNyxを提案する。
  論文  参考訳（メタデータ） (2025-10-20T09:56:43Z)
• MeXtract: Light-Weight Metadata Extraction from Scientific Papers [48.73595915402094]
  本稿では,科学論文からのメタデータ抽出を目的とした軽量言語モデルであるMeXtractを紹介する。 MeXtractはMOLEベンチマークでメタデータ抽出の最先端性能を達成する。 研究コミュニティのために、すべてのコード、データセット、モデルを公開しています。
  論文  参考訳（メタデータ） (2025-10-08T11:12:28Z)
• Align-then-Slide: A complete evaluation framework for Ultra-Long Document-Level Machine Translation [26.418216341998953]
  ウルトラロングドク-mtの完全な評価フレームワークであるtextittextbfAlign-then-Slide を導入する。 Alignの段階では、文レベルのソースターゲット対応を自動的に推測し、ターゲットを元の文番号に合わせるように再構築する。 n-Chunkスライディング評価段階において,多粒度評価のための1-,2-,3-,4-chunkの平均値を算出する。
  論文  参考訳（メタデータ） (2025-09-04T01:50:20Z)
• ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
  我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。 当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。 結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
  論文  参考訳（メタデータ） (2025-09-01T11:32:24Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs [11.861763118322136]
  マルチモーダルRAGシステムを評価するためのモジュール型ベンチマークであるmmRAGを紹介する。 我々のベンチマークでは、テキスト、テーブル、知識グラフにまたがる6つの多様な問合せデータセットからのクエリを統合する。 文書関連性を注釈化し、データセット関連性を導出するための標準情報検索手順に従う。
  論文  参考訳（メタデータ） (2025-05-16T12:31:29Z)
• REAL-MM-RAG: A Real-World Multi-Modal Retrieval Benchmark [16.55516587540082]
  本稿では,リアルタイム検索に不可欠な4つの重要な特性に対処する自動生成ベンチマークREAL-MM-RAGを紹介する。 本稿では,キーワードマッチング以外のモデルのセマンティック理解を評価するために,クエリリフレッシングに基づく多言語レベルのスキームを提案する。 我々のベンチマークでは、特にテーブル重ドキュメントの扱いや、クエリ・リフレージングに対する堅牢性において、重要なモデルの弱点が明らかになっている。
  論文  参考訳（メタデータ） (2025-02-17T22:10:47Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。