論文の概要: BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices

• arxiv url: http://arxiv.org/abs/2411.12990v1
• Date: Wed, 20 Nov 2024 02:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:02.561580
• Title: BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices
• Title（参考訳）: BetterBench: AIベンチマークの評価、問題発見、ベストプラクティスの確立
• Authors: Anka Reuel, Amelia Hardy, Chandler Smith, Max Lamparth, Malcolm Hardy, Mykel J. Kochenderfer,
• Abstract要約: 我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
• 参考スコア（独自算出の注目度）: 28.70453947993952
• License:
• Abstract: AI models are increasingly prevalent in high-stakes environments, necessitating thorough assessment of their capabilities and risks. Benchmarks are popular for measuring these attributes and for comparing model performance, tracking progress, and identifying weaknesses in foundation and non-foundation models. They can inform model selection for downstream tasks and influence policy initiatives. However, not all benchmarks are the same: their quality depends on their design and usability. In this paper, we develop an assessment framework considering 46 best practices across an AI benchmark's lifecycle and evaluate 24 AI benchmarks against it. We find that there exist large quality differences and that commonly used benchmarks suffer from significant issues. We further find that most benchmarks do not report statistical significance of their results nor allow for their results to be easily replicated. To support benchmark developers in aligning with best practices, we provide a checklist for minimum quality assurance based on our assessment. We also develop a living repository of benchmark assessments to support benchmark comparability, accessible at betterbench.stanford.edu.
• Abstract（参考訳）: AIモデルは、ハイテイク環境でますます普及し、その能力とリスクを徹底的に評価する必要がある。 ベンチマークは、これらの属性の測定、モデルパフォーマンスの比較、進捗の追跡、基礎モデルと非基礎モデルの弱点の同定に人気がある。 ダウンストリームタスクのモデル選択と影響ポリシーイニシアチブを通知することができる。 しかしながら、すべてのベンチマークが同じであるとは限らない。 本稿では,AIベンチマークのライフサイクルにおける46のベストプラクティスを考慮した評価フレームワークを開発し,それに対する24のAIベンチマークを評価する。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。 さらに,ほとんどのベンチマークでは,結果の統計的意義を報告せず,容易に再現可能であることも確認した。 ベンチマーク開発者がベストプラクティスと整合するのをサポートするため、評価に基づいて最小品質保証のためのチェックリストを提供する。 betterbench.stanford.eduで利用可能なベンチマークコンパラビリティをサポートするために、ベンチマークアセスメントのリビングレポジトリも開発しています。

関連論文リスト

• A Comparative Analysis on Ethical Benchmarking in Large Language Models [0.0]
  この研究は、インテリジェントシステムが人間の価値を正確に表現し、それに従って行動するかどうかを評価するテストを開発する機械倫理(ME)ベンチマークの分野に貢献する。 我々は,非現実的な倫理的ジレンマによる生態的妥当性の制限,包括的・排他的基準のない非構造的質問生成,人間のアノテーションへの依存によるスケーラビリティの欠如,の3つの主要な課題を明らかにした。 医用領域の現実的な倫理的ジレンマを特徴とするTriage BenchmarkとMedicical Law (MedLaw) Benchmarkの2つのMEベンチマークを紹介した。
  論文  参考訳（メタデータ） (2024-10-11T05:05:21Z)
• Do These LLM Benchmarks Agree? Fixing Benchmark Evaluation with BenchBench [15.565644819269803]
  過度に見落とされた方法論的選択がベンチマークコンセンサステスト(BAT)の結果にどのように影響するかを示す。 我々は、BAT用のピソンパッケージであるBenchBenchを紹介し、ベンチマークを仲間を使って評価するためのメタベンチマークであるBenchBench- Leaderboardをリリースする。
  論文  参考訳（メタデータ） (2024-07-18T17:00:23Z)
• ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
  ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。 各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。 分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T00:59:55Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Benchmarks for Automated Commonsense Reasoning: A Survey [0.0]
  AIシステムの常識知識と常識推論能力をテストするために、100以上のベンチマークが開発されている。 本稿では,AIコモンセンスベンチマークの開発と利用について検討する。
  論文  参考訳（メタデータ） (2023-02-09T16:34:30Z)
• What Will it Take to Fix Benchmarking in Natural Language Understanding? [30.888416756627155]
  我々は、NLUベンチマークが満たすべきと議論する4つの基準を定めている。 健全な評価エコシステムの復元には、ベンチマークデータセットの設計に大きな進歩が必要だ。
  論文  参考訳（メタデータ） (2021-04-05T20:36:11Z)
• Do Question Answering Modeling Improvements Hold Across Benchmarks? [84.48867898593052]
  20種類の多種多様なモデリング手法を用いて32のQAベンチマークの一致を計測する。 何年にもわたってコミュニティは少数のベンチマークに力を入れてきたが、研究対象のモデリングの改善は広く続いている。
  論文  参考訳（メタデータ） (2021-02-01T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。