論文の概要: Benchmark Everything Everywhere All at Once

• arxiv url: http://arxiv.org/abs/2606.06462v1
• Date: Thu, 04 Jun 2026 17:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.017185
• Title: Benchmark Everything Everywhere All at Once
• Title（参考訳）: すべてを一度にベンチマークする
• Authors: Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue,
• Abstract要約: ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。 本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。 テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
• 参考スコア（独自算出の注目度）: 28.30618112297148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.
• Abstract（参考訳）: ベンチマークは LLM と MLLM の標準化と明示的な性能評価を提供することにより、評価と進歩に基本となるものである。 しかし、その建設は労働集約的で再利用が難しいため、持続可能性や拡張性に対する懸念が高まっている。 さらに、既存のベンチマークはリリース後にすぐにパフォーマンスの飽和に達し、最先端モデル間での差別が不十分になることが多い。 これらの課題に対処するため,ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介した。 本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。 ベンチマークエージェントを評価するために,テキスト理解,マルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを生成する。 人間の評価、LSM-as-a-judge評価、一貫性チェックを含む大規模な実験は、Benchmark Agentが人間の関与を最小限に抑えた高品質なベンチマークサンプルを生成することを実証している。 さらに重要なことは、継続的な評価を通じて、現在のモデルが特定のドメイン固有の推論タスクに苦しむことを含む、洞察に富んだいくつかの発見を観察することである。 急速に進化するベンチマークは、研究コミュニティに大きく貢献できると考えています。 プレビューとコードは、デモページとコードリポジトリで公開されている。

関連論文リスト

• Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
  多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。 このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。 我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
  論文  参考訳（メタデータ） (2025-07-03T17:35:31Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。