論文の概要: ArenaBencher: Automatic Benchmark Evolution via Multi-Model Competitive Evaluation

• arxiv url: http://arxiv.org/abs/2510.08569v1
• Date: Thu, 09 Oct 2025 17:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.311986
• Title: ArenaBencher: Automatic Benchmark Evolution via Multi-Model Competitive Evaluation
• Title（参考訳）: ArenaBencher: 多モデル競合評価による自動ベンチマーク進化
• Authors: Qin Liu, Jacob Dineen, Yuxi Huang, Sheng Zhang, Hoifung Poon, Ben Zhou, Muhao Chen,
• Abstract要約: ArenaBencherは自動ベンチマーク進化のためのモデルに依存しないフレームワークである。 アリーナベンチャーを数学の問題解決、常識推論、安全領域に適用する。
• 参考スコア（独自算出の注目度）: 33.22383550511664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks are central to measuring the capabilities of large language models and guiding model development, yet widespread data leakage from pretraining corpora undermines their validity. Models can match memorized content rather than demonstrate true generalization, which inflates scores, distorts cross-model comparisons, and misrepresents progress. We introduce ArenaBencher, a model-agnostic framework for automatic benchmark evolution that updates test cases while preserving comparability. Given an existing benchmark and a diverse pool of models to be evaluated, ArenaBencher infers the core ability of each test case, generates candidate question-answer pairs that preserve the original objective, verifies correctness and intent with an LLM as a judge, and aggregates feedback from multiple models to select candidates that expose shared weaknesses. The process runs iteratively with in-context demonstrations that steer generation toward more challenging and diagnostic cases. We apply ArenaBencher to math problem solving, commonsense reasoning, and safety domains and show that it produces verified, diverse, and fair updates that uncover new failure modes, increase difficulty while preserving test objective alignment, and improve model separability. The framework provides a scalable path to continuously evolve benchmarks in step with the rapid progress of foundation models.
• Abstract（参考訳）: ベンチマークは、大規模言語モデルの能力の測定とモデル開発の指導の中心であるが、事前学習されたコーパスからの広範なデータ漏洩は、その妥当性を損なう。 モデルは、スコアを膨らませたり、モデル間の比較を歪ませたり、進捗を誤って表現する真の一般化を示すのではなく、記憶された内容と一致させることができる。 テストケースを更新し、可視性を保った上で、テストケースを更新する自動ベンチマーク進化のための、モデルに依存しないフレームワークであるArenaBencherを紹介します。 既存のベンチマークとさまざまなモデルのプールが評価されているため、ArenaBencher氏は各テストケースのコア能力を推測し、元の目的を守り、LLMを判断として正当性と意図を検証し、複数のモデルからのフィードバックを集約し、共有する弱点を明らかにする候補を選択する。 このプロセスは、より困難で診断的なケースに向けて生成するコンテキスト内デモで反復的に実行される。 アリーナベンチャーを数学の問題解決、常識推論、安全領域に適用し、新しい障害モードを明らかにし、テスト対象のアライメントを維持しながら難易度を高め、モデルの分離性を向上する検証済み、多種多様で公平な更新を生成することを示す。 このフレームワークは、ファンデーションモデルの急速な進歩に合わせて、ベンチマークを段階的に継続的に進化させるスケーラブルなパスを提供する。

関連論文リスト

• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models [5.6525926183880255]
  本論文では,対話型コードブレークタスクによるマルチターン・マルチステップ推論を評価する新しいベンチマークであるTurnBenchを紹介する。 各エピソードにおいて、モデルはシーケンシャルな推測を行い、構造化されたフィードバックを受け取り、複数のラウンドで手がかりを統合することによって、隠れた論理的または算術的なルールを明らかにする必要がある。 TurnBenchには、標準推論をテストするClassicと、複雑さを増し堅牢な推論チェーンを必要とするNightmareの2つのモードがある。
  論文  参考訳（メタデータ） (2025-06-02T05:47:50Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities [30.123976500620834]
  従来の固定テストセットは、ファンデーションモデルのオープンな機能を評価するのに不足しています。 ONEBenchは、個々の評価データセットを統一し、拡張し続けるサンプルプールに統合する新しいテストパラダイムである。 ONEBenchは、テストセットにまたがってサンプルを集約することにより、オリジナルのテストセットでカバーされたもの以上の多様な機能の評価を可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:37:14Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
  本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。 重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。 この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
  論文  参考訳（メタデータ） (2024-04-23T11:40:52Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。