論文の概要: Evaluating Model Capabilities After Benchmark Saturation

• arxiv url: http://arxiv.org/abs/2610.20667v1
• Date: Wed, 14 Oct 2026 10:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.974482
• Title: Evaluating Model Capabilities After Benchmark Saturation
• Title（参考訳）: ベンチマーク飽和後のモデル機能評価
• Abstract要約: AI能力の急速な進歩は、ベンチマークの飽和を引き起こしている。 ベンチマーク項目は 通常のスコアよりも はるかに多くの情報を生成します ベンチマークスコアが飽和した後でも,これらの書き起こしがモデル機能評価に有効かどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapid advances in AI capabilities are causing benchmarks to saturate. Once several models approach perfect scores, a benchmark loses its power to differentiate between them, and with it its utility for informing AI safety cases and frontier policies. Yet benchmark items produce far more information than the scores we typically extract from them: a full transcript of how each model solved the task. We investigate whether these transcripts can be used to assess model capabilities even after benchmark scores have saturated. We simulate saturation retrospectively using historical benchmark and model releases, and test whether protocols that access only correctly solved transcripts from saturated benchmarks can predict capabilities measured on held-out, unsaturated items. We evaluate representative contemporary approaches for extracting information from model transcripts: pairwise judging, single-transcript absolute scoring, and predictions from deterministic transcript features or embeddings. We find that saturated transcripts retain capability information beyond benchmark accuracy. Amongst our evaluated protocols, pairwise judging performs best, reducing prediction error by 5.3 times compared to a baseline using only saturated benchmark scores. This capability-relevant information is distributed across transcript sections, but concentrated in specific channels of information such as reasoning and tool-calls. However, the predictive power of protocols does not always generalise across distribution shifts -- for example by underestimating the capabilities of the first reasoning models introduced in early 2025. Saturated benchmarks thus retain capability-predicting signal in their task transcripts, but extending the lifetime of existing benchmarks requires methods designed to extract these signals robustly.
• Abstract（参考訳）: AI能力の急速な進歩は、ベンチマークの飽和を引き起こしている。 いくつかのモデルが完璧なスコアに近づくと、ベンチマークは両者を区別する能力を失い、AIの安全ケースとフロンティアポリシーを知らせるための実用性を持つ。 しかし、ベンチマーク項目は、私たちが通常抽出するスコアよりもはるかに多くの情報を生成します。 ベンチマークスコアが飽和した後でも,これらの書き起こしがモデル機能評価に有効かどうかを検討する。 我々は,過去のベンチマークやモデルリリースを振り返って飽和度をシミュレーションし,飽和度ベンチマークから正しく解決された文字起こしのみにアクセスするプロトコルが,飽和度の高い未飽和度項目で測定された能力を予測できるかどうかを検証した。 モデル転写から情報を取り出すための代表的な現代的アプローチとして、ペアワイズ判定、単転写絶対スコアリング、決定論的転写特徴や埋め込みからの予測について評価する。 飽和転写文字は、ベンチマーク精度以上の能力情報を保持していることが判明した。 評価されたプロトコルの中では、ペアワイズ判定が最適であり、飽和ベンチマークスコアのみを用いたベースラインに比べて予測誤差が5.3倍減少する。 この能力関連情報は、書き起こしセクションに分散されているが、推論やツールコールのような特定の情報チャネルに集中している。 しかし、プロトコルの予測力は、例えば2025年初頭に導入された最初の推論モデルの能力を過小評価することで、分散シフトをまたいで常に一般化するとは限らない。 飽和ベンチマークは、タスクの書き起こしに能力予測信号を保持するが、既存のベンチマークの寿命を延ばすには、これらの信号を堅牢に抽出する手法が必要である。

関連論文リスト

• Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
  本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。 ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
  論文  参考訳（メタデータ） (2026-09-21T09:15:02Z)
• Last Translation Benchmark [189.61382047977074]
  最後の翻訳ベンチマークは、主要な機械翻訳モデルを壊すサンプルの集合である。 それぞれの例には、具体的な障害ケースを記述した手作りの検証ルールが付属している。 最新バージョンは、2026年9月1日までに承認されたコントリビューションを含むTBv1である。
  論文  参考訳（メタデータ） (2026-09-03T17:54:45Z)
• Towards Quantifying Benchmark Optimization in ASR Models [6.368891551783367]
  その結果,高性能モデルでは,汎用的な書き起こし能力の向上を反映することなく,ベンチマーク性能を向上できることを示す。 最上位のオープンソースモデルは、関連するオーディオが矛盾している場合や、マスクされている場合、曖昧な場合にも、冗長な参照書き起こしを出力する。
  論文  参考訳（メタデータ） (2026-08-20T11:54:39Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
  本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。 この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-10-30T11:28:58Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
  事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。 本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
  論文  参考訳（メタデータ） (2023-06-01T04:52:26Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。