論文の概要: Inference Scaling fLaws: The Limits of LLM Resampling with Imperfect Verifiers

• arxiv url: http://arxiv.org/abs/2411.17501v2
• Date: Mon, 02 Dec 2024 18:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 13:36:03.868285
• Title: Inference Scaling fLaws: The Limits of LLM Resampling with Imperfect Verifiers
• Title（参考訳）: 推論スケーリングfLaws:不完全検証によるLLMリサンプリングの限界
• Authors: Benedikt Stroebl, Sayash Kapoor, Arvind Narayanan,
• Abstract要約: 近年の研究では、推論スケーリングにより、より弱い言語モデルがより強力なモデルの精度に適合または超えることを期待している。 より弱いモデルの推論スケーリングの量は、十分に強いモデルの単一サンプル精度に匹敵することができないことを示す。 また、精度以上の偽陽性には、コーディングスタイルの慣行への順守の欠如など、他の望ましくない性質があることも示している。
• 参考スコア（独自算出の注目度）: 13.823743787003787
• License:
• Abstract: Recent research has generated hope that inference scaling could allow weaker language models to match or exceed the accuracy of stronger models, such as by repeatedly sampling solutions to a coding problem until it passes unit tests. The central thesis of this paper is that there is no free lunch for inference scaling: indefinite accuracy improvement through resampling can only be realized if the "verifier" (in this case, a set of unit tests) is perfect. When the verifier is imperfect, as it almost always is in domains such as reasoning or coding (for example, unit tests have imperfect coverage), there is a nonzero probability of false positives: incorrect solutions that pass the verifier. Resampling cannot decrease this probability, so it imposes an upper bound to the accuracy of resampling-based inference scaling even with an infinite compute budget. We find that there is a very strong correlation between the model's single-sample accuracy (i.e. accuracy without unit tests) and its false positive rate on coding benchmarks HumanEval and MBPP, whose unit tests have limited coverage. Therefore, no amount of inference scaling of weaker models can enable them to match the single-sample accuracy of a sufficiently strong model (Fig. 1a). When we consider that false positives have a negative utility compared to abstaining from producing a solution, it bends the inference scaling curve further downward. Empirically, we find that the optimal number of samples can be less than 10 under realistic assumptions (Fig. 1b). Finally, we show that beyond accuracy, false positives may have other undesirable qualities, such as poor adherence to coding style conventions.
• Abstract（参考訳）: 最近の研究は、推論スケーリングによって、より弱い言語モデルが、ユニットテストに合格するまで、コーディング問題に対するソリューションを繰り返しサンプリングすることによって、より強力なモデルの精度を一致または超えることを期待している。 再サンプリングによる不確定な精度改善は、検証器(この場合、単体テストのセット)が完璧である場合にのみ実現できる。 検証者が不完全であるとき、ほとんど常に推論やコーディング(例えば、単体テストは不完全カバレッジを持つ)のような領域にあるので、偽陽性の確率がゼロでない:検証をパスする不正確な解が存在する。 再サンプリングは、この確率を下げることができないので、無限の計算予算でさえ、再サンプリングベースの推論スケーリングの精度に上限を課す。 単サンプル精度(単位検定なしでの精度)と、単位検定の範囲が限られているHumanEval と MBPP の符号化ベンチマークにおける偽陽性率との間には、非常に強い相関関係があることが判明した。 したがって、弱いモデルの推論スケーリングの量は、十分に強いモデルの単一サンプル精度に匹敵することができない(図1a)。 偽陽性が解の生成を控えるよりも負の効用を持つと考えると、推論スケーリング曲線はより下向きに曲げられる。 経験的に、サンプルの最適数は現実的な仮定で10未満である(図1b)。 最後に、精度以上の偽陽性には、コーディングスタイルの慣行への従順性の欠如など、他の望ましくない性質がある可能性があることを示す。

関連論文リスト

• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Non-Convex Robust Hypothesis Testing using Sinkhorn Uncertainty Sets [18.46110328123008]
  非破壊仮説テスト問題に対処する新しい枠組みを提案する。 目標は、最大数値リスクを最小限に抑える最適な検出器を探すことである。
  論文  参考訳（メタデータ） (2024-03-21T20:29:43Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• (Almost) Provable Error Bounds Under Distribution Shift via Disagreement Discrepancy [8.010528849585937]
  我々は、ラベルのないテストデータを用いて、分散シフト中のディープニューラルネットワークのエラーに対して(ほぼ)保証された上限を導出する。 特に、我々の境界は単純で直感的な条件を必要とし、これは以前の経験的な研究によって十分に正当化される。 この損失は、マルチクラス不一致の最大化を必要とする将来のメソッドのドロップイン代替になることを期待しています。
  論文  参考訳（メタデータ） (2023-06-01T03:22:15Z)
• Kernel Robust Hypothesis Testing [20.78285964841612]
  本稿では,カーネル方式を用いて不確実性集合をデータ駆動方式で構築する。 目標は、不確実性集合上の最悪のケース分布の下でうまく機能するテストを設計することである。 Neyman-Pearsonの設定では、誤検知の最悪のケース確率を最小限に抑え、誤警報の最悪のケース確率を制約する。
  論文  参考訳（メタデータ） (2022-03-23T23:59:03Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。