論文の概要: Scaling Test-Time Compute Without Verification or RL is Suboptimal

• arxiv url: http://arxiv.org/abs/2502.12118v2
• Date: Tue, 18 Feb 2025 18:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:25.774953
• Title: Scaling Test-Time Compute Without Verification or RL is Suboptimal
• Title（参考訳）: 検証やRLを使わずにテスト時間計算をスケールすることは最適である
• Authors: Amrith Setlur, Nived Rajaraman, Sergey Levine, Aviral Kumar,
• Abstract要約: RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
• 参考スコア（独自算出の注目度）: 70.28430200655919
• License:
• Abstract: Despite substantial advances in scaling test-time compute, an ongoing debate in the community is how it should be scaled up to enable continued and efficient improvements with scaling. There are largely two approaches: first, distilling successful search or thinking traces; and second, using verification (e.g., 0/1 outcome rewards, reward models, or verifiers) to guide reinforcement learning (RL) and search algorithms. In this paper, we prove that finetuning LLMs with verifier-based (VB) methods based on RL or search is far superior to verifier-free (VF) approaches based on distilling or cloning search traces, given a fixed amount of compute/data budget. Further, we show that as we scale test-time compute (measured as the output token length) and training data, suboptimality of VF methods scales poorly compared to VB when the base pre-trained LLM presents a heterogeneous distribution over correct solution traces (e.g., different lengths, styles, etc.) and admits a non-sharp distribution over rewards on traces sampled from it. We formalize this condition using anti-concentration [Erd\H{o}s, 1945]. This implies a stronger result that VB methods scale better asymptotically, with the performance gap between VB and VF methods widening as test-time budget grows. We corroborate our theory empirically on both didactic and math reasoning problems with 3/8/32B-sized pre-trained LLMs, where we find verification is crucial for scaling test-time compute.
• Abstract（参考訳）: テスト時間計算のスケールアップが大幅に進歩したにも関わらず、コミュニティで進行中の議論は、スケーリングによる継続的かつ効率的な改善を実現するために、どのようにスケールアップされるべきなのかである。 まず、成功した検索や思考の痕跡を蒸留し、次に、検証(例えば、0/1結果の報奨、報酬モデル、検証者)を使用して強化学習(RL)と探索アルゴリズムを導く。 本稿では,RL法や検索法に基づく検証器ベース (VB) 手法による微調整 LLM が,検索トレースの蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 さらに,テスト時間計算(出力トークン長として測定される)とトレーニングデータをスケールするにつれて,VF手法の準最適性は,ベーストレーニング済みLLMが正解トレース(例えば,長さ,スタイルなど)上で不均一な分布を示し,そこからサンプリングしたトレースに対する報酬よりも非シャープ分布が認められる場合に比較して,VBよりも低スケールであることを示す。 我々はこの条件を反濃度 [Erd\H{o}s, 1945] を用いて定式化する。 これは、VBメソッドが漸近的に拡張され、テストタイム予算が増加するにつれてVBメソッドとVFメソッドのパフォーマンスギャップが拡大することを意味する。 我々は,3/8/32Bの事前学習型LLMを用いて,算術的および数学的推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• Efficient Discrepancy Testing for Learning with Distribution Shift [17.472049019016524]
  局所的な一致距離をテストするための証明可能なアルゴリズムの最初のセットを提供する。 結果は、最近導入されたTestable Learning with Distribution Shiftモデルにおいて、新しい効率的な学習アルゴリズムの幅広いセットを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T17:51:10Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Double-Bounded Optimal Transport for Advanced Clustering and Classification [58.237576976486544]
  本稿では,2つの境界内での目標分布の制限を前提としたDB-OT(Douubly bounded Optimal Transport)を提案する。 提案手法は,テスト段階における改良された推論方式により,良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-21T07:43:01Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
  本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。 実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-09-07T17:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。