論文の概要: MetaLead: A Comprehensive Human-Curated Leaderboard Dataset for Transparent Reporting of Machine Learning Experiments

• arxiv url: http://arxiv.org/abs/2601.22420v1
• Date: Fri, 30 Jan 2026 00:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.131548
• Title: MetaLead: A Comprehensive Human-Curated Leaderboard Dataset for Transparent Reporting of Machine Learning Experiments
• Title（参考訳）: MetaLead: 機械学習実験の透過的なレポートのための、総合的なヒューマンキュレーションされたリーダーボードデータセット
• Authors: Roelien C. Timmer, Necva Bölücü, Stephen Wan,
• Abstract要約: リーダボードは、マシンラーニング(ML)領域において、進捗のベンチマークと追跡に不可欠である。 提案するMetaLeadは、完全な人間による注釈付きデータセットで、結果の透明性のために実験結果をすべてキャプチャする。
• 参考スコア（独自算出の注目度）: 2.8973763292318075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leaderboards are crucial in the machine learning (ML) domain for benchmarking and tracking progress. However, creating leaderboards traditionally demands significant manual effort. In recent years, efforts have been made to automate leaderboard generation, but existing datasets for this purpose are limited by capturing only the best results from each paper and limited metadata. We present MetaLead, a fully human-annotated ML Leaderboard dataset that captures all experimental results for result transparency and contains extra metadata, such as the result experimental type: baseline, proposed method, or variation of proposed method for experiment-type guided comparisons, and explicitly separates train and test dataset for cross-domain assessment. This enriched structure makes MetaLead a powerful resource for more transparent and nuanced evaluations across ML research.
• Abstract（参考訳）: リーダボードは、マシンラーニング(ML)領域において、進捗のベンチマークと追跡に不可欠である。 しかし、伝統的にリーダーボードを作成するには、かなりの手作業が必要である。 近年、リーダーボード生成の自動化が試みられているが、この目的のための既存のデータセットは、各論文の最良の結果と限られたメタデータのみをキャプチャすることで制限されている。 今回提案するMetaLeadは,実験結果の透過性に関する実験結果をすべてキャプチャし,結果のタイプ:ベースライン,提案手法,提案手法のバリエーション,試験型ガイド付き比較のための提案手法のバリエーションなど,余分なメタデータを含む,完全なヒューマンアノテートされたML Leaderboardデータセットである。 この強化された構造により、MetaLeadは、ML研究全体の透明性とニュアンスの高い評価のための強力なリソースとなる。

関連論文リスト

• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [48.73595915402094]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• A Position Paper on the Automatic Generation of Machine Learning Leaderboards [9.766725069582836]
  機械学習(ML)研究における重要な課題は、MLのリーダーボードを通じて実行される以前の作業を比較することである。 この負担を軽減するために、研究者は研究論文からリーダーボードエントリを抽出する方法を開発した。 しかし、事前の作業は、問題フレーミング、比較の複雑化、現実の応用可能性の制限などによって異なる。 本稿では,ALGタスクの定義方法の標準化を目的とした,ALG統合概念フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T04:46:10Z)
• Efficient Performance Tracking: Leveraging Large Language Models for Automated Construction of Scientific Leaderboards [67.65408769829524]
  科学的リーダーボードは、競争方法の評価と比較を容易にする標準化されたランキングシステムである。 出版物の増加により、これらのリーダーボードを手動で構築し維持することは不可能になった。 手作業の削減の解決策として リーダーボードの 自動構築が登場しました
  論文  参考訳（メタデータ） (2024-09-19T11:12:27Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。