論文の概要: One Capability or Many? Testing the Economic Validity of Frontier AI Evaluation
- arxiv url: http://arxiv.org/abs/2608.29420v1
- Date: Sat, 29 Aug 2026 19:55:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.95533
- Title: One Capability or Many? Testing the Economic Validity of Frontier AI Evaluation
- Title（参考訳）: 1つの能力か多か?フロンティアAI評価の経済的妥当性をテストする
- Abstract要約: ベンチマークが一般的なテストテイクとは異なる能力を測定するかどうかをテストする。
経済ベンチマークは、主に日付駆動の一般的な要因に漸進的な予測情報を追加する。
リーダーボードは依然として全体的な進歩のための健全なガイドだが、数ヶ月後にリリースされたモデル間のギャップのほとんどはカレンダーである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier-model leaderboards now rank systems based on economic benchmarks, tests of how well models carry out professional tasks from software engineering to banking workflows, and those rankings inform what organisations buy, what regulators scrutinise, and expectations of how work will change. Whether such benchmarks measure a capability distinct from general test-taking, or re-express the one axis along which every benchmark rises as models improve, is a question of construct validity that has not yet been studied. We test it on a hash-pinned leaderboard snapshot of 421 model configurations across twelve benchmarks, four of them economic, treating benchmarks as items and models as respondents in a latent-variable model with four hypotheses and their thresholds fixed before analysis. A single factor explains 74.5% of common variance and tracks model release date (R^2 = 0.505), so the leading axis of capability is substantially a time trend; where prior work controls for scale, compute adds little once date is removed. Removing the date trend lowers that share by 14.9 points, and by 24.1 with one row per base model. Under the dimensionality rule fixed in advance the economic benchmarks form no distinct factor, yet a leave-one-benchmark-out test with factors re-estimated inside every fold shows that a multi-factor representation predicts held-out economic scores better than a single general index (pooled Delta-MSE 0.037, 95% bootstrap interval [0.019, 0.055]). Economic benchmarks therefore add incremental predictive information to a largely date-driven general factor, and the evidence does not support treating them as a distinct latent capability. Leaderboards remain a sound guide to overall progress, but most of the gap between models released months apart is calendar, so a small gap between contemporaneous models should be date-adjusted before being read as a capability difference.
- Abstract（参考訳）: 今やフロンティアモデルリーダーボードは、経済ベンチマークに基づいてシステムをランク付けし、モデルがソフトウェアエンジニアリングから銀行のワークフローに至るまでのプロフェッショナルなタスクをどのように遂行するかをテストする。
このようなベンチマークが一般的なテストテイクとは異なる能力を測定するか、あるいはモデルの改善に伴ってベンチマークが上昇する一軸を再表現するかは、まだ研究されていない構成妥当性の問題である。
我々は、12のベンチマークで421モデル構成のハッシュピン付きリーダーボードスナップショットでテストし、そのうち4つは経済的に、ベンチマークを4つの仮説としきい値が分析前に固定された潜在変数モデルで、回答者としてアイテムとモデルとして扱います。
単一の要因が共通分散の74.5%を説明し、モデルのリリース日をトラックする(R^2 = 0.505)。
日付の傾向を取り除いた場合、シェアは14.9ポイント、24.1ポイントがベースモデルごとに1行ずつ減少する。
前もって固定された次元規則の下では、経済指標は明確な要因を成さないが、各倍率内で再見積された要因による残余1回のベンチマークアウトテストは、多因子表現が単一一般指標(Delta-MSE 0.037, 95%ブートストラップ間隔[0.019, 0.055])よりもホールドアウト経済スコアを予測していることを示している。
したがって、経済ベンチマークは、主に日付駆動の一般的な要因に漸進的な予測情報を付加し、その証拠はそれらを明確な潜在能力として扱うことを支持していない。
リーダーボードは、全体的な進歩のための健全なガイドだが、数ヶ月後にリリースされるモデル間のギャップのほとんどはカレンダーであり、同時代のモデル間の小さなギャップは、能力の違いとして読み取られる前に日付調整されるべきである。
関連論文リスト
- A Statistical Audit of Physical AI Benchmark Redundancy [0.0]
物理AIモデルは、モデルレポートによって異なるベンチマークスイートで評価され、モデルバイベンチマークマトリックスはスパースのままである。
51のベンチマークと152のモデルのレジストリから,12の物理AIベンチマーク上に51モデルの行列を構築した。
ベンチマークがどの程度の情報を共有しているかを測定し、冗長性の定量的な証拠を示す。
論文 参考訳（メタデータ） (2026-08-26T15:54:15Z) - AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses [72.0777620499307]
我々は、より強力なビルダーモデルが、より弱いターゲットモデルがパラメータを更新することなくタスクをより確実に解決するのに役立つ推論時ハーネスを構築することができるかどうか検討する。
実証的には、このテストタイム能力の伝達は非常に効果的であり、平均目標モデルの性能は0.49から0.91にほぼ倍増している。
構築者モデル推論の取り組みは、使用者の品質を単調に改善し、プラットフォーム効果は、構築者モデル自身の能力に対して控えめであり、より弱いターゲットモデルは最大の利益を得る。
論文 参考訳（メタデータ） (2026-08-12T17:53:18Z) - FinVerse: Financial Time-Series Benchmark [13.359564942661251]
ファイナンスドメインの時系列予測ベンチマークであるFinVerseを紹介し、より現実的な評価に向けて第一歩を踏み出した。
均一なポイント予測や確率的精度を重視した一般的な予測ベンチマークとは異なり、FinVerseは78評価指標からなる11のメトリクスファミリを定義している。
43の公共時系列予測基盤モデルを分析した結果, 総合予測基準下での強い性能が必ずしも有用な財務予測に変換されないことがわかった。
論文 参考訳（メタデータ） (2026-08-04T07:32:42Z) - An Embarrassingly Simple Graph Heuristic Reveals Shortcut-Solvable Benchmarks for Sequential Recommendation [50.09718257952108]
Sequentialsolvは、シーケンシャルなパターンとセマンティックなアイテム情報を組み合わせたジェネレーティブなレコメンデーターへと移行している。
これらの手法は、しばしば、広く使われている少数のベンチマークで評価され、重要な疑問を提起する: これらのベンチマークは、現代のジェネレーティブレコメンデーターが提供しようとしている高度なモデリング機能を必要としているか?
我々は、意図的な単純なグラフでベンチマーク監査を行い、最後の1つか2つの項目から、数ホップの項目遷移グラフから候補を検索し、項目間類似度でランク付けする。
論文 参考訳（メタデータ） (2026-05-08T02:00:11Z) - QuitoBench: A High-Quality Open Time Series Forecasting Benchmark [32.21290355342465]
時系列予測は、ファイナンス、ヘルスケア、クラウドコンピューティングにおいて重要である。
時系列予測のための状態バランスのベンチマークであるtextscQuitoBenchを紹介する。
論文 参考訳（メタデータ） (2026-03-27T02:24:34Z) - When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation [80.66788281323414]
主要モデル開発者のテクニカルレポートから選択した60のLarge Language Model (LLM)ベンチマークのベンチマーク飽和を分析した。
分析の結果、ベンチマークのほぼ半数が飽和しており、ベンチマークの年齢とともに上昇していることがわかった。
専門家によるベンチマークは、クラウドソースのベンチマークよりも飽和に抵抗する。
論文 参考訳（メタデータ） (2026-02-18T16:51:37Z) - ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs [37.23311145049677]
本稿では,機能異方性(Capability Anisotropy)を診断するためのスケーラブルなシステムであるReLEを提案する。
我々は,207,843サンプルからなる領域$times$ Capability SymbolicMatrixの304モデルを評価した。
論文 参考訳（メタデータ） (2026-01-24T09:57:59Z) - The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。
GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
論文 参考訳（メタデータ） (2025-09-18T07:50:04Z) - Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。
これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-12-09T13:05:43Z) - LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。
LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。
ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文 参考訳（メタデータ） (2024-10-14T17:51:23Z) - GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。
GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。
GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
論文 参考訳（メタデータ） (2024-10-14T11:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。