論文の概要: How Inference Compute Shapes Frontier LLM Evaluation

• arxiv url: http://arxiv.org/abs/2606.17930v1
• Date: Tue, 16 Jun 2026 13:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.460371
• Title: How Inference Compute Shapes Frontier LLM Evaluation
• Title（参考訳）: 計算形状の推論によるLLM評価
• Authors: Jessica McFadyen, Ole Jorgensen, Harry Coppock, Kevin Wei, Cozmin Ududec,
• Abstract要約: 私たちは、ソフトウェアエンジニアリング、数学、医学、サイバーセキュリティにまたがる7つの挑戦的なベンチマークで、最大12のフロンティア言語モデルを評価します。 より新しいモデルは大きな予算でより高いパフォーマンスに到達し、より難しいタスクを解き、より確実に解決する。 評価は推論時間計算の関数として機能を報告し、プロトコルの選択を明示的に指定し、大きな共有計算範囲でモデル生成を比較するべきであると論じる。
• 参考スコア（独自算出の注目度）: 2.7633794124150426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI evaluations are shifting toward harder tasks that benefit from longer trajectories involving tool use and iterative problem solving. As a result, performance is increasingly sensitive to the amount and allocation of compute available at test time ("inference compute"). Yet many evaluations still report performance at a single restrictive budget, meaning that low scores may reflect the evaluation setup rather than the model's underlying capability. To test this, we evaluate up to 12 frontier language models on seven challenging benchmarks spanning software engineering, mathematics, medicine, and cybersecurity. We use a controlled setup combining three simple inference-scaling interventions: larger token budgets, context compaction, and repeated submission attempts, guided either by the model itself or by minimal correctness feedback. We find three main results. First, larger token budgets substantially improve performance on benchmarks across multiple domains, including cybersecurity, FrontierMath, Humanity's Last Exam, and TerminalBench. Second, fixed-budget evaluations can increasingly understate frontier capability as models advance. Newer models reach higher performance at large budgets, where they unlock harder tasks and solve them more reliably. Third, benchmarks differ in which inference-scaling methods help most: repeated submission broadly improves performance, but the value of larger token budgets, external feedback, and parallel attempts varies by benchmark. Overall, our results show that benchmark scores are protocol-dependent. We therefore argue that evaluations should report capability as a function of inference-time compute, specify protocol choices explicitly, and compare model generations over a large shared compute range at matched budgets, especially in safety- or policy-relevant settings.
• Abstract（参考訳）: AI評価は、ツールの使用と反復的な問題解決を含む長い軌道の恩恵を受ける、難しいタスクへとシフトしている。 その結果、パフォーマンスはテスト時に利用可能な計算量と割り当てにますます敏感になる("推論計算")。 しかし、多くの評価は、1つの制限的な予算でパフォーマンスを報告しているため、低得点はモデルの基本能力よりも評価設定を反映する可能性がある。 これをテストするために、ソフトウェアエンジニアリング、数学、医学、サイバーセキュリティにまたがる7つの挑戦的なベンチマークで、最大12のフロンティア言語モデルを評価しました。 我々は、より大規模なトークン予算、コンテキストのコンパクト化、反復的な提案試みという、3つの単純な推論スケーリングの介入を組み合わせた制御された設定を使い、モデル自体によって導かれるか、最小限の正確性フィードバックによって導かれる。 主な結果は3つある。 第一に、より大きなトークン予算は、サイバーセキュリティ、フロンティアマス、HumanityのLast Exam、ターミナルベンチなど、複数のドメインにわたるベンチマークのパフォーマンスを大幅に改善する。 第二に、モデルが前進するにつれて、固定予算評価はフロンティア能力をますます過小評価する可能性がある。 新しいモデルは大きな予算でより高いパフォーマンスに到達し、より難しいタスクを解き、より確実に解決する。 第3に、推論スケーリングの手法が最も役立つのは、ベンチマークの違いである。 繰り返し提出することで、パフォーマンスが大幅に向上するが、より大きなトークン予算、外部フィードバック、並列試行の価値は、ベンチマークによって異なる。 その結果,ベンチマークスコアはプロトコルに依存していることがわかった。 そこで,提案手法では,提案手法では,推論時間計算の関数として,プロトコル選択を明示的に指定し,特に安全性やポリシー関連設定において,一致した予算で大規模に共有された計算範囲のモデル生成を比較する必要がある。

関連論文リスト

• Multi-Agent Reasoning Improves Compute Efficiency: Pareto-Optimal Test-Time Scaling [11.219930588268433]
  資源制約のある実世界のアプリケーションにとって、計算効率は鍵となる。 我々は,自己整合性,自己縮小性,マルチエージェント論争,混合エージェントの推論スケーリング戦略を体系的に分析する。 並列世代数がシーケンシャルアグリゲーションの数を超える場合、混合エージェントが最も効率的である。
  論文  参考訳（メタデータ） (2026-05-02T18:31:02Z)
• Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
  データ処理の不等式に基づく情報理論の議論を示す。 トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。 以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-02T18:47:48Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
  リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。 コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。 本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
  論文  参考訳（メタデータ） (2025-06-02T17:54:04Z)
• Is Best-of-N the Best of Them? Coverage, Scaling, and Optimality in Inference-Time Alignment [54.787826863212146]
  推論時間計算は、言語モデルのパフォーマンスをスケールするための強力な軸を提供する。 我々は, (i) 応答品質, (ii) 計算量の観点から, 推論時アライメントアルゴリズムの性能を解析する。 我々は$textttInferenceTimePessimism$を紹介した。これは推論時間計算の故意使用を通じて報酬ハッキングを緩和する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-27T18:00:08Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Efficient Benchmarking of Language Models [22.696230279151166]
  本稿では、信頼性を損なうことなく、LM評価のコストをインテリジェントに削減する、効率的なベンチマーク問題を提案する。 HELMベンチマークをテストケースとして、異なるベンチマーク設計選択が計算-信頼性トレードオフにどのように影響するかを検討する。 本稿では,HELMベンチマークに適用した場合,ベンチマーク信頼性の低下を最小限に抑えながら,大幅なコスト削減を実現する評価アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-22T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。