論文の概要: Efficient Prediction of Pass@k Scaling in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.05197v1
• Date: Mon, 06 Oct 2025 17:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.910626
• Title: Efficient Prediction of Pass@k Scaling in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるpass@kスケーリングの効率的な予測
• Authors: Joshua Kazdan, Rylan Schaeffer, Youssef Allouah, Colin Sullivan, Kyssen Yu, Noam Levi, Sanmi Koyejo,
• Abstract要約: 多数の試みにスケールする際のモデルの振る舞いを正確に予測する方法を示す。 これらの法則に適合する標準的な方法は、予測精度を妨げる統計的欠点に悩まされる。 より難しい問題に予算を割り当てる動的サンプリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 34.59142976295509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing the capabilities and risks of frontier AI systems is a critical area of research, and recent work has shown that repeated sampling from models can dramatically increase both. For instance, repeated sampling has been shown to increase their capabilities, such as solving difficult math and coding problems, but it has also been shown to increase their potential for harm, such as being jailbroken. Such results raise a crucial question for both capability and safety forecasting: how can one accurately predict a model's behavior when scaled to a massive number of attempts, given a vastly smaller sampling budget? This question is directly relevant to model providers, who serve hundreds of millions of users daily, and to governmental regulators, who seek to prevent harms. To answer this questions, we make three contributions. First, we find that standard methods for fitting these laws suffer from statistical shortcomings that hinder predictive accuracy, especially in data-limited scenarios. Second, we remedy these shortcomings by introducing a robust estimation framework, which uses a beta-binomial distribution to generate more accurate predictions from limited data. Third, we propose a dynamic sampling strategy that allocates a greater budget to harder problems. Combined, these innovations enable more reliable prediction of rare risks and capabilities at a fraction of the computational cost.
• Abstract（参考訳）: フロンティアAIシステムの能力とリスクを評価することは、研究の重要な領域であり、最近の研究は、モデルからの繰り返しのサンプリングが両者を劇的に増加させることを示した。 例えば、繰り返しサンプリングは、難解な数学やコーディングの問題を解くなど、それらの能力を高めることが示されているが、ジェイルブレイクのような害の可能性を増大させることも示されている。 このような結果は、能力と安全性の予測の両方において重要な疑問を提起する: 非常に小さなサンプリング予算を考えれば、大規模な試みにスケールした際のモデルの振舞いを正確に予測するにはどうすればよいのか? この問題は、毎日数億人のユーザーに仕えるモデルプロバイダーや、害を防ごうとする政府の規制当局に直接関係している。 この質問に答えるために、私たちは3つのコントリビューションを行います。 まず,これらの法則に適合する標準的な手法は,特にデータ制限シナリオにおいて,予測精度を損なう統計的欠点に悩まされていることがわかった。 第2に,限定データからより正確な予測を生成するために,ベータ二項分布を用いたロバストな推定フレームワークを導入することにより,これらの欠点を解消する。 第3に、より難しい問題により大きな予算を割り当てる動的サンプリング戦略を提案する。 これらのイノベーションを組み合わせることで、計算コストのごく一部で、稀なリスクと能力のより信頼性の高い予測が可能になる。

関連論文リスト

• Forecasting Rare Language Model Behaviors [20.712406244928832]
  提案手法は,評価中のテストよりも,桁違いに多くのクエリに対して潜在的なリスクを予測できる手法である。 我々の予測は、最大3桁のクエリボリュームで、様々な望ましくない振る舞いの出現を予測することができる。 私たちの作業により、モデル開発者は大規模なデプロイメント中に現れる前に、稀な障害を積極的に予測し、パッチを当てることができます。
  論文  参考訳（メタデータ） (2025-02-24T03:16:15Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Two-stage Modeling for Prediction with Confidence [0.0]
  分布シフト条件下でニューラルネットワークの性能を一般化することは困難である。 本稿では,分散シフト問題に対する新しい2段階モデルを提案する。 我々のモデルは、ほとんどのデータセットに対して信頼性の高い予測を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-19T08:48:07Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Forecasting COVID-19 daily cases using phone call data [0.0]
  本稿では,コールデータを用いて日次確認症例数を予測するために最適化した簡易な多重線形回帰モデルを提案する。 提案手法は, ARIMA, ETS, および呼び出しデータのない回帰モデルより優れており, 3点予測誤差, 1点予測間隔, 2点の確率予測精度測定によって評価される。
  論文  参考訳（メタデータ） (2020-10-05T18:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。