論文の概要: On the estimation and validity of AI time horizons---a statistical look at the METR plot
- arxiv url: http://arxiv.org/abs/2610.12466v1
- Date: Thu, 08 Oct 2026 17:59:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.272967
- Title: On the estimation and validity of AI time horizons---a statistical look at the METR plot
- Title（参考訳）: AI時間地平線の推定と妥当性について--METRプロットの統計的考察
- Abstract要約: METRの50%タイム水平線は、AIが50%確率で解決するソフトウェアタスクの人間の完了時間を測定する。
我々は、スプラインとアイテム-レスポンス理論を用いて、タスクのAI難易度が人間の時間ログに線形に依存するという仮定を緩和するために、時間地平線を再計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: METR's 50\% time horizon measures the human completion time of software tasks that an AI solves with 50\% probability, allowing AI capabilities to be expressed in interpretable units. On 228 tasks and 26 AIs, we recompute the time horizons using splines and item-response theory to relax the assumption that the AI difficulty of a task depends linearly on the log of human time. Our fitted spline can be interpreted as a function that \emph{converts} human time to AI difficulty; it is nearly flat in a region from 2--30 min but close to linear elsewhere. Hence, a time-horizon jump from 3 min to 30 min is much easier than one from 30 min to 5 hours despite the same multiplier of $10 \times$. Overall, we contribute time-horizon point estimates that perform better under a cross-validated suite of proper scoring rules, as well as diagnostic plots for assessing time horizons' construct validity. We suggest that time horizons be interpreted together with the diagnostic plots, especially as new time-horizon-based benchmarks are proposed or existing ones grow to include longer tasks.
- Abstract（参考訳）: METRの50\%タイム水平線は、AIが50\%の確率で解決するソフトウェアタスクの人間の完了時間を測定し、AI機能を解釈可能なユニットで表現できるようにする。
228のタスクと26のAIでは、スプラインとアイテム応答理論を用いて時間地平線を再計算し、タスクのAIの難しさが人間の時間ログに線形に依存するという仮定を緩和する。
我々の適合スプラインは、人間の時間をAIの難易度に向ける関数と解釈できる。
したがって、3分から30分へのタイムホライゾンジャンプは、同じ乗算器が10ドル=$であるにもかかわらず、30分から5時間までの時間よりもずっと簡単である。
全体として、適切なスコアリングルールのクロスバリデーション・スイートにおいて、より優れたタイムホライズン点推定と、時間ホライズルの構成妥当性を評価するための診断計画に寄与する。
特に、新しい時間軸ベースのベンチマークが提案されるか、既存のベンチマークがより長いタスクを含むように成長するにつれて、時間軸が診断プロットと共に解釈されることが示唆される。
関連論文リスト
- Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering [59.18634614089481]
超長距離機械学習工学(MLE)を習得する自律エージェントML-Master 2.0を提案する。
文脈管理を認知的蓄積のプロセスとして考えることで、階層的認知キャッシング(HCC)を導入する。
HCCは、エージェントが短期的な実験戦略から即時実行を分離することを可能にする。
オープンAIのMLE-Benchを24時間予算で評価すると、ML-Master 2.0は56.44%の最先端のメダルを獲得した。
論文 参考訳（メタデータ） (2026-01-15T13:52:04Z) - A Rosetta Stone for AI Benchmarks [28.690200241767897]
ほとんどのAIベンチマークは、導入後数年から数ヶ月で飽和し、AI能力の長期的トレンドを研究するのは難しい。
ベンチマークを縫合する統計フレームワークを構築し、モデル機能とベンチマークの難しさを1つの数値スケールで評価する。
これは"Rosetta Stone"として機能し、同じベンチマークで評価されていなくても、幅広い能力と時間のモデルを比較することができます。
論文 参考訳（メタデータ） (2025-11-28T20:18:58Z) - Forecasting AI Time Horizon Under Compute Slowdowns [0.3651274624247922]
我々はOpenAIの計算予測に基づいて時間地平線成長を計画し、いくつかのケースでかなりの遅延を予測した。
例えば、1ヶ月の時間的地平線が80%$信頼性を持つのは、単純な傾向の補間が示唆するよりも7ドル遅れている。
論文 参考訳（メタデータ） (2025-11-23T10:46:10Z) - AI Agents as Universal Task Solvers [94.49762121230042]
我々は,過去のデータを用いて,普遍的な解法が達成できる最適なスピードアップが,アルゴリズム情報と密接な関係があることを示す。
我々は、推論モデルをスケールする際に最適化する重要な量は時間であり、学習における重要な役割は、これまでは間接的にのみ考慮されてきたと論じている。
論文 参考訳（メタデータ） (2025-10-14T02:17:54Z) - Measuring AI Ability to Complete Long Tasks [5.986082428339293]
人間が通常、AIモデルが達成できるタスクを完了するのに要する時間を50%の成功率で測定します。
Claude 3.7 Sonnetのような現在のフロンティアAIモデルは50分程度で50%タイムの地平線を持つ。
AIモデルの時間的地平線の増加は、より信頼性が高く、ミスに適応する能力によって引き起こされているように思われる。
論文 参考訳（メタデータ） (2025-03-18T17:59:31Z) - Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis [2.6451153531057985]
我々はAIアライメントを$langle M,N,varepsilon,deltarangle$-agreementと呼ばれる多目的最適化問題として定式化する。
M$ または $N$ が十分大きいと、相互作用や合理性は本質的にアライメントのオーバーヘッドを回避できないことを示す。
論文 参考訳（メタデータ） (2025-02-09T15:27:35Z) - Extralonger: Toward a Unified Perspective of Spatial-Temporal Factors for Extra-Long-Term Traffic Forecasting [69.4265346261936]
時間的・空間的要因を統一するExtralongerを導入する。
これは特に、現実のベンチマークで1週間まで予測の地平を広げている。
長期および長期のシナリオで新しい標準を設定する。
論文 参考訳（メタデータ） (2024-10-30T04:28:20Z) - Learning Temporal Distances: Contrastive Successor Features Can Provide a Metric Structure for Decision-Making [66.27188304203217]
時間的距離は、計画、制御、強化学習のための多くのアルゴリズムの中心にある。
このような時間的距離を設定内で定義しようとする以前の試みは、重要な制限によって妨げられている。
比較学習によって学習された後継特徴が,三角形の不等式を満たす時間的距離を形成することを示す。
論文 参考訳（メタデータ） (2024-06-24T19:36:45Z) - Set the Clock: Temporal Alignment of Pretrained Language Models [91.82475116870367]
言語モデル(LM)は、多くの時点から派生したWebテキストで訓練されており、一般には、明確な時間的根拠は持たない。
本研究では、事前訓練されたLMの時間的カオスを調査し、その内部知識を目標時間に合わせるための様々な手法を探索する。
論文 参考訳（メタデータ） (2024-02-26T18:10:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。