論文の概要: Towards Evaluation Engineering: An Empirical Study of ML Evaluation Harnesses in the Wild
- arxiv url: http://arxiv.org/abs/2605.24213v1
- Date: Fri, 22 May 2026 20:54:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:17.749549
- Title: Towards Evaluation Engineering: An Empirical Study of ML Evaluation Harnesses in the Wild
- Title（参考訳）: 評価工学をめざして : 野生におけるML評価のハーネスに関する実証的研究
- Authors: Zhimin Zhao, Zehao Wang, Abdul Ali Bangash, Bram Adams, Ahmed E. Hassan,
- Abstract要約: 評価は、モデル呼び出し、データローディング、メトリック計算、結果報告を管理することによって、モデル評価を編成する。
57個の評価ハーネスについて実証的研究を行い,5段階のハーネスモデルと16,560の問題をワークフローステージと根本原因で分類した。
- 参考スコア（独自算出の注目度）: 18.82003667637388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluation harnesses are software systems that orchestrate model evaluation by managing model invocation, data loading, metric computation, and result reporting. Despite their critical role in machine learning infrastructure, their operational challenges and engineering concerns have received limited attention so far. We present an empirical study of 57 evaluation harnesses, deriving a five-stage harness model and classifying 16,560 issues by workflow stage and root cause. Most harness operational challenges concentrate in the Specification stage (41.4% of issues), where harnesses integrate external models, datasets, and scoring judges. The three most frequent root causes of operational challenges are unimplemented features (24.3%), documentation gaps (20.3%), and missing input validation (17.2%), which together account for 61.7% of classified issues, spanning both defects in existing functionality and capability gaps that block intended workflows. Root causes also vary by workflow stage: environment incompatibility and external dependency breakage account for 36.2% of provisioning issues, whereas algorithmic error (25.9%) and validation gap (22.5%) dominate assessment issues. Together, these contributions establish an empirical foundation for treating evaluation engineering as a distinct software engineering concern.
- Abstract（参考訳）: 評価ハーネスは、モデル実行、データローディング、メトリック計算、結果報告を管理することによって、モデル評価を編成するソフトウェアシステムである。
マシンラーニングインフラストラクチャにおいて重要な役割を担っているにも関わらず、運用上の課題とエンジニアリング上の懸念は、これまで限定的な注目を集めてきた。
57個の評価ハーネスについて実証的研究を行い,5段階のハーネスモデルと16,560の問題をワークフローステージと根本原因で分類した。
ほとんどの運用上の課題は仕様段階(41.4%)に集中しており、外部モデル、データセット、審査員の評価を統合する。
運用上の課題の最も頻繁な原因は、実装されていない機能(24.3%)、ドキュメントギャップ(20.3%)、入力バリデーションの欠如(17.2%)である。
環境不整合性と外部依存性の破損はプロビジョニング問題の36.2%を占め、アルゴリズムエラー(25.9%)と検証ギャップ(22.5%)が評価問題を支配している。
これらの貢献によって、評価工学をソフトウェア工学の異なる関心事として扱うための経験的基盤が確立される。
関連論文リスト
- Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Exploring Fairness Interventions in Open Source Projects [4.637328271312331]
機械学習モデルのバイアスは、刑事司法や医療などの分野に悪影響を及ぼす可能性がある。
バイアスを緩和し、より公平なモデルの作成を促進することを目的として、機械学習フェアネスの介入が開発されている。
これらの介入が利用可能になっているにもかかわらず、現実世界のアプリケーションでの採用は制限されている。
論文 参考訳（メタデータ） (2025-07-09T16:57:59Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - Generative AI for Requirements Engineering: A Systematic Literature Review [1.6986294649170766]
生成事前学習型トランスモデルが現在の応用を支配している。
産業採用は未熟であり、90%以上の研究が初期開発に対応している。
GenAIベースのREの変革的な可能性にもかかわらず、いくつかの障壁は実践的な採用を妨げる。
論文 参考訳（メタデータ） (2024-09-10T02:44:39Z) - A Comparative Study of Android Performance Issues in Real-world Applications and Literature [16.259447959343067]
実世界のアプリケーションや文献におけるAndroidのパフォーマンス問題に関する大規模な比較研究を行っている。
以上の結果から,研究者,開発者,ユーザの主なパフォーマンス上の問題に,大きな違いがあることが判明した。
コミュニティにとって、これらのギャップを埋め、パフォーマンス問題の包括的な検出と解決を達成するための努力を強化することが重要です。
論文 参考訳（メタデータ） (2024-07-06T14:43:40Z) - ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints [31.90180597239974]
アクション・アンド・チェンジ(RAC)に関する推論(Reasoning about Actions and Change)は、AIの基本的な問題を解決する上で、歴史的に重要な役割を担ってきた。
我々は8つのドメインを含む新しい診断ベンチマークであるActionReasoningBenchを紹介し、19のアクションシーケンスに対する質問を含む。
このベンチマークは、6つの主要なRAC次元にわたるLLM(Large Language Models)を厳格に評価する。
論文 参考訳（メタデータ） (2024-06-06T13:15:37Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。