Fugu-MT 論文翻訳(概要): Auto-BenchmarkCard: Automated Synthesis of Benchmark Documentation

論文の概要: Auto-BenchmarkCard: Automated Synthesis of Benchmark Documentation

arxiv url: http://arxiv.org/abs/2512.09577v1
Date: Wed, 10 Dec 2025 12:09:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-11 15:14:53.512362
Title: Auto-BenchmarkCard: Automated Synthesis of Benchmark Documentation
Title（参考訳）: Auto-BenchmarkCard: ベンチマークドキュメンテーションの自動合成
Authors: Aris Hofmann, Inge Vejsbjerg, Dhaval Salwala, Elizabeth M. Daly,
Abstract要約: Auto-BenchmarkCardは、AIベンチマークの検証済みの記述を生成するワークフローである。ベンチマークドキュメンテーションは不完全か不整合であることが多く、タスクやドメイン間でベンチマークを解釈し比較することは困難である。
参考スコア（独自算出の注目度）: 4.044540605397838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Auto-BenchmarkCard, a workflow for generating validated descriptions of AI benchmarks. Benchmark documentation is often incomplete or inconsistent, making it difficult to interpret and compare benchmarks across tasks or domains. Auto-BenchmarkCard addresses this gap by combining multi-agent data extraction from heterogeneous sources (e.g., Hugging Face, Unitxt, academic papers) with LLM-driven synthesis. A validation phase evaluates factual accuracy through atomic entailment scoring using the FactReasoner tool. This workflow has the potential to promote transparency, comparability, and reusability in AI benchmark reporting, enabling researchers and practitioners to better navigate and evaluate benchmark choices.
Abstract（参考訳）: 本稿では,AIベンチマークの検証済み記述を生成するワークフローであるAuto-BenchmarkCardを紹介する。ベンチマークドキュメンテーションは不完全か不整合であることが多く、タスクやドメイン間でベンチマークを解釈し比較することは困難である。 Auto-BenchmarkCardは、異種(Hugging Face、Unitxt、学術論文など)からのマルチエージェントデータ抽出とLLM駆動合成を組み合わせることで、このギャップに対処する。検証フェーズは、FactReasonerツールを用いた原子内包スコアリングにより、事実精度を評価する。このワークフローは、AIベンチマークレポートにおける透明性、コンパラビリティ、再利用性を促進する可能性があるため、研究者や実践者がベンチマークの選択をよりよくナビゲートし、評価することができる。

関連論文リスト

AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文参考訳（メタデータ） (2026-02-10T06:58:26Z)
InfoSynth: Information-Guided Benchmark Synthesis for LLMs [69.80981631587501]
大規模言語モデル (LLM) は推論やコード生成において大きな進歩を見せている。従来のベンチマーク作成は人手による作業に依存しています。この作業では、推論ベンチマークの自動生成と評価のための新しいフレームワークであるInfo Synthを紹介した。
論文参考訳（メタデータ） (2026-01-02T05:26:27Z)
PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code [1.1164117387254457]
大言語モデル(LLM)ベースのコードアシスタントは、生成AIの強力な応用として登場した。これらのシステムの主な要件は、ユーザの指示を正確に従う能力である。 PACIFICは,逐次命令追従機能とコードドライラン機能とを厳格に評価するベンチマークを自動的に生成する新しいフレームワークである。
論文参考訳（メタデータ） (2025-12-11T14:49:56Z)
Mapping Overlaps in Benchmarks through Perplexity in the Wild [8.321258152814986]
我々は,大規模言語モデル(LLM)ベンチマークとその意味的な重複を特徴付けるために,キャパシティ親しみやすさのシグネチャを開発する。本分析は,ベンチマーク質問の意味的類似性とモデル性能の相関性の両方に関して,シグネチャを定式化したものである。最終的には、論理、数学、言語、命令追従、世界モデリングにまたがるクロスファンクショナルオーバーラップを識別し、コーディングが最重複の少ないドメインとして現れます。
論文参考訳（メタデータ） (2025-09-27T20:23:13Z)
Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
論文参考訳（メタデータ） (2025-09-23T15:32:47Z)
The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文参考訳（メタデータ） (2024-12-06T23:43:59Z)
BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
論文参考訳（メタデータ） (2024-10-29T22:56:18Z)
BenchmarkCards: Standardized Documentation for Large Language Model Benchmarks [23.263430784766026]
大規模言語モデル(LLM)は多様なタスクを処理できる強力なツールである。利用可能な多くのオプションを考えると、適切なベンチマークを見つけることは難しい。直感的で検証可能なドキュメントフレームワークである textttBenchmarkCards を紹介します。
論文参考訳（メタデータ） (2024-10-16T19:09:02Z)
Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
論文参考訳（メタデータ） (2024-04-02T04:27:54Z)
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文参考訳（メタデータ） (2023-11-15T14:41:57Z)
Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文参考訳（メタデータ） (2023-07-13T17:14:38Z)
Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文参考訳（メタデータ） (2023-03-07T02:49:50Z)
Mystique: Enabling Accurate and Scalable Generation of Production AI Benchmarks [2.0315147707806283]
Mystiqueは、プロダクションAIベンチマーク生成のための正確でスケーラブルなフレームワークである。 Mystiqueは、オーバーヘッドランタイムとインスツルメンテーションの労力の観点から、軽量なデータ収集のためにスケーラブルである。我々は,本手法をいくつかの実運用AIモデルで評価し,Mystiqueで生成されたベンチマークがオリジナルのAIモデルとよく似ていることを示す。
論文参考訳（メタデータ） (2022-12-16T18:46:37Z)
Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics [74.28810048824519]
質問応答に基づく要約評価メトリクスは、QAモデルの予測が正しいかどうかを自動的に判断する必要がある。筆者らは,現在QAベースのメトリクスで使用されている語彙的回答検証手法と,より洗練された2つのテキスト比較手法をベンチマークした。
論文参考訳（メタデータ） (2022-04-21T15:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。