論文の概要: Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation
- arxiv url: http://arxiv.org/abs/2605.30916v1
- Date: Fri, 29 May 2026 07:01:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.437311
- Title: Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation
- Title（参考訳）: 福祉, 改善性, 変動性: 最適ベンチマーク項目集約への主観的アプローチ
- Abstract要約: マルチタスクのプリンシパルエージェントゲームとしてベンチマークをモデル化し、ベンチマークによる福祉損失を3つのアイテムレベルプリミティブで共同で決定することを示す。
我々は、福祉用ORKBank、即効性用EvoLM 4Bスイート、分散用PolyPythias 410Mパネルを用いたOLMES項目にこの理論を適用した。
- 参考スコア（独自算出の注目度）: 19.980368400366352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI benchmarks have well-documented limitations, with prior work examining contamination, saturation, and construct underspecification. Aggregation has received far less attention: benchmarks are typically summarized by uniformly averaging item-level scores, implicitly treating every test item as equally valuable. We model benchmarking as a multitask principal-agent game and show that the welfare loss from a benchmark is determined jointly by three item-level primitives: alignment with normative welfare priorities, marginal improvability, and performance variance. We translate the theory into an audit framework that ranks items along each of these three axes, and apply it to OLMES items using WORKBank for welfare, the EvoLM 4B suite for improvability, and the PolyPythias 410M panel for variance. The framework surfaces items that are Pareto-inferior within OLMES subject to a pro-worker welfare operationalization. All code is available at https://github.com/stair-lab/principal-agent-benchmarks.
- Abstract（参考訳）: AIベンチマークには、汚染、飽和、不特定性の構築といった、ドキュメントの豊富な制限がある。
ベンチマークは通常、アイテムレベルのスコアを均一に評価し、すべてのテスト項目を同等の価値として暗黙的に扱うことで要約される。
マルチタスクのプリンシパルエージェントゲームとしてベンチマークをモデル化し、基準的福祉優先、限界的即効性、パフォーマンス分散の3つの項目レベルプリミティブによってベンチマークからの福祉損失が共同で決定されることを示す。
これら3つの軸に沿って項目をランク付けする監査枠組みに翻訳し、福祉のためにWORKBank、即効性のためのEvoLM 4Bスイート、分散のためのPolyPythias 410Mパネルを用いてOLMES項目に適用する。
この枠組みは、OLMES内のPareto-inferior(パレート・インフェニオール)の項目を、労働者支援の福祉運用の対象となるものとして提示する。
すべてのコードはhttps://github.com/stair-lab/principal-agent-benchmarksで入手できる。
関連論文リスト
- PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents [19.290397279235084]
本稿では,MPPをベースとした産業エージェントベンチマークにおいて,これまでで最大規模の協調型ディープディーブを集計する。
集約スコアのリーダーボードは,デプロイエージェントの評価を体系的に過小評価している,と我々は主張する。
論文 参考訳（メタデータ） (2026-06-18T02:02:46Z) - Benchmark Everything Everywhere All at Once [28.30618112297148]
ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。
本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。
テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
論文 参考訳（メタデータ） (2026-06-04T17:52:04Z) - A Unified Framework for the Evaluation of LLM Agentic Capabilities [36.43241368835721]
LLMエージェント能力の公平な評価のための統一的なフレームワークを提案する。
統合された構成システムによって駆動されるこのフレームワークは、様々なベンチマークを標準化された命令-ツール-環境フォーマットに統合する。
我々は15モデルで400Kロールアウトと5Bトークンに対して大規模な実証分析を行う。
論文 参考訳（メタデータ） (2026-05-27T03:20:45Z) - Position: State-of-the-Art Claims Require State-of-the-Art Evidence [7.225436467899107]
State-of-the-Art(SOTA)は、AI(Pervade Artificial Intelligence)とML(Machine Learning)の研究を主張している。
これらの主張は、モデルがタスクの合計スコアによってランク付けされるベンチマーク評価に依存している。
AIベンチマークにおいて、幅広いクレーム・エビデンスギャップを識別する。
我々は、主張言語は根底にある証拠の強さを反映すべきであると主張する。
論文 参考訳（メタデータ） (2026-05-17T05:48:10Z) - Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。
我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
論文 参考訳（メタデータ） (2026-04-01T07:59:59Z) - Benchmarking at the Edge of Comprehension [38.43582342860192]
ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。
完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。
標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
論文 参考訳（メタデータ） (2026-02-15T20:51:29Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。
パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
論文 参考訳（メタデータ） (2025-09-23T15:32:47Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z) - carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks [61.79411281702448]
carpsはComprehensive Automated Research Performance Studiesのベンチマークフレームワークである。
我々は、ブラックボックス、マルチオブジェクト、マルチオブジェクト、マルチオブジェクトの4つの重要なタイプのHPOタスクに焦点をあてる。
5つのコミュニティベンチマークコレクションから336のタスクと28種類の9つのファミリーで、私たちはこれまでで最大のGotoライブラリを提供しています。
論文 参考訳（メタデータ） (2025-06-06T15:01:39Z) - The Benchmark Lottery [114.43978017484893]
ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。
アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
論文 参考訳（メタデータ） (2021-07-14T21:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。