論文の概要: Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

• arxiv url: http://arxiv.org/abs/2608.14903v1
• Date: Fri, 14 Aug 2026 21:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.123376
• Title: Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence
• Title（参考訳）: Frontier AIの予測に計測の問題:進歩の証拠
• Abstract要約: フロンティア人工知能の定量的予測は、しばしば、ベンチマークスコア、トレーニング計算、リリース時間、専門家の信念のトレンドに日付のついたターゲットを結びつける。 本稿では,他の傾向が整う前に,公共計測記録がこれらの接続をサポートするかどうかを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantitative forecasts of frontier artificial intelligence often connect dated targets to trends in benchmark scores, training compute, release time, or expert belief. This paper audits whether the public measurement record supports those connections before another trend is fitted. I construct a frozen, event-centric record through 12 August 2026 with 62 selected systems, 12 versioned benchmarks, seven capability or impact criteria, 144 graded events, 27 source records, and 408 typed relations. The record is an audit sample, not a census. Only seven systems jointly observe estimated training compute and a METR 50 percent task horizon. Training compute is absent for 19 of 27 closed systems, including every selected closed release from 2026, while none of the 35 open-weight systems has a METR horizon observation. Benchmark succession creates a second break: a seven-system link from METR Time Horizon 1.0 to 1.1 has a log-scale slope of 1.206 (95 percent CI 1.021 to 1.390), whereas a six-system MMLU to MMLU-Pro comparison appears shift-like under logit and probit links but not under linear or logarithmic links. The observed bridges have about 80 percent power only for slope departures near 25 percent. Provenance is concentrated: 52 of 71 substantive quantitative events, or 73.2 percent, come from one measurement programme, and 76.1 percent are laboratory releases. A review of 56 methodological and empirical sources identifies 16 complementary measurement directions spanning resources, inference budgets, reliability, agentic work, safety, human preference, field outcomes, and forecast backtesting. No direction supplies a replacement scalar. The result is not that frontier AI forecasting is impossible, but that a defensible dated forecast is a claim about a versioned measurement system with explicit joins, protocols, links, and source dependence, not merely a fitted curve or calendar date.
• Abstract（参考訳）: フロンティア人工知能の定量的予測は、しばしば、ベンチマークスコア、トレーニング計算、リリース時間、専門家の信念のトレンドに日付のついたターゲットを結びつける。 本稿では,他の傾向が整う前に,公共計測記録がこれらの接続をサポートするかどうかを検証する。 私は2026年8月12日まで、62のシステム、12のバージョニングベンチマーク、7の能力または影響基準、144のグレードのイベント、27のソースレコード、408のタイプ付き関係で、凍結したイベント中心の記録を構築しました。 記録は監査のサンプルであり、国勢調査ではない。 推定トレーニング計算とMETR50%タスク水平線を共同で観測するシステムはわずか7つである。 訓練計算は、2026年から選択されたクローズド・リリースを含む27のクローズド・システムのうち19のシステムに欠けているが、35のオープン・ウェイト・システムにはMETRの地平線観測がない。 METR Time Horizon 1.0から1.1までの7つのシステムリンクは1.206(95% CI 1.021から1.390)のログスケールスロープを持ち、6つのシステムMMLUからMMLU-Proの比較はロジットとプロビットリンクの下でシフト様に見えるが、線形または対数リンクではない。 観測された橋は、約80%の電力しか持たない。 71件のうち52件(73.2%)は1つの測定プログラムから来ており、76.1%は実験室からの放出である。 56の方法論的・実証的な情報源のレビューでは、リソース、推測予算、信頼性、エージェントワーク、安全性、人的嗜好、フィールドアウトカム、予測バックテストにまたがる16の相補的な測定方向が特定されている。 代替スカラーは装備されていない。 その結果、フロンティアAI予測は不可能であるだけでなく、明確な結合、プロトコル、リンク、ソース依存性を備えたバージョン別測定システムに対する、修正可能な日付付き予測は、単に適合した曲線やカレンダー日ではなく、主張である、という結果が得られた。

関連論文リスト

• Accuracy Is Not Service: A Decision-Aware Benchmark for Intermittent-Demand Forecasting [4.1751058176413105]
  古典的、断続的、機械学習、ディープラーニング、事前訓練された基礎モデルにまたがる38の予測手法をベンチマークした。 予測精度ランクと注文サービスランクは、20,330の実際のマルチイテムオーダーで評価された手法に対して、工業パネルにおいて-0.555で負の相関関係を持つ。 断続的な需要に対しては、最も低いエラー予測は最高のサービスを提供する必要はない。
  論文  参考訳（メタデータ） (2026-09-12T09:51:30Z)
• When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline [0.0]
  本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。 139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。 記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
  論文  参考訳（メタデータ） (2026-09-10T07:55:12Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks [1.416562653124415]
  プローブレベルのコストでパラメトリック・ハイドサイトをプロファイリングする行動監査プロトコルであるHindsightBenchを提案する。 258ノードのヴィンテージ正しいマクロパネル上の7つのベンダーから15のモデルに適用すると、3つの見出しパターンが得られる。 パネル、凍結事前登録、ドルコスト、書き起こし、および1つのコマンドによる再生を伴うモデルごとの監査列を公開します。
  論文  参考訳（メタデータ） (2026-07-21T08:58:36Z)
• Partial Identification with Multiple Nonlinear Measurements of a Latent Regressor [0.0]
  回帰器が潜伏しており,複数の雑音測定によってのみ観察される線形回帰について検討した。 単一の測定における回帰は、構造的係数よりもソース固有係数を復元する。 コンセンサス測定関数を線形にし,残曲率を勾配に対して拘束することにより,潜時スケールを補正する。
  論文  参考訳（メタデータ） (2026-07-13T23:33:54Z)
• RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
  固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。 本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。 累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
  論文  参考訳（メタデータ） (2026-06-23T02:11:04Z)
• Historical Knowledge Graphs for Global Maritime Estimated Time of Arrival [0.0]
  本稿では,自動識別システム(AIS)データのみを用いて,歴史的海洋知識グラフを構築する手法を提案する。 このグラフは、軌道を反復的に処理し、船舶の種類、走行時間、走行方向によって成層された速度分布を記憶することによって構築される。 グラフは、階層的で優先度の高いシステムを通じて、任意の2つの場所間の旅行時間予測を検索するためにクエリすることができる。
  論文  参考訳（メタデータ） (2026-05-18T13:47:57Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
  6つの認知機構からなる生体記憶アーキテクチャを提案する。 各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。 S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
  論文  参考訳（メタデータ） (2026-05-08T22:52:37Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious [35.76482964927589]
  202のマルチターン会話における66のターンレベルメトリクスの自己相関構造を特徴付ける。 標準プールテストでは,42%のアソシエーションがクラスタ・ロバスト補正に成功しなかった。 我々は、Chelton (1983) の有効自由度と会話レベルのブロックブートストラップを組み合わせた2段階補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T20:54:39Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Towards Motion Forecasting with Real-World Perception Inputs: Are End-to-End Approaches Competitive? [93.10694819127608]
  実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。 我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
  論文  参考訳（メタデータ） (2023-06-15T17:03:14Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。