論文の概要: Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2502.07154v1
• Date: Tue, 11 Feb 2025 00:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:21.822969
• Title: Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning
• Title（参考訳）: テスト時間計算のスケーリングにおける微調整の再考: 限界信頼は数学的推論を改善する
• Authors: Feng Chen, Allan Raventos, Nan Cheng, Surya Ganguli, Shaul Druckmann,
• Abstract要約: クロスエントロピー損失のあるトレーニングは、パス@Nのパス@Nの精度$itは、長いトレーニングで$$を下げることを示す。 モデル信頼性を制限し、pass@Nテストのパフォーマンスを回復することにより、pass@Nに整合した、原則化された修正されたトレーニング損失を提案する。
• 参考スコア（独自算出の注目度）: 32.45574194957491
• License:
• Abstract: Recent progress in large language models (LLMs) highlights the power of scaling test-time compute to achieve strong performance on complex tasks, such as mathematical reasoning and code generation. This raises a critical question: how should model training be modified to optimize performance under a subsequent test-time compute strategy and budget? To explore this, we focus on pass@N, a simple test-time strategy that searches for a correct answer in $N$ independent samples. We show, surprisingly, that training with cross-entropy (CE) loss can be ${\it misaligned}$ with pass@N in that pass@N accuracy ${\it decreases}$ with longer training. We explain the origins of this misalignment in terms of model overconfidence induced by CE, and experimentally verify our prediction of overconfidence as an impediment to scaling test-time compute via pass@N. Furthermore we suggest a principled, modified training loss that is better aligned to pass@N by limiting model confidence and rescuing pass@N test performance. Our algorithm demonstrates improved mathematical reasoning on MATH and MiniF2F benchmarks under several scenarios: (1) providing answers to math questions; and (2) proving theorems by searching over proof trees of varying shapes. Overall our work underscores the importance of co-designing two traditionally separate phases of LLM development: training-time protocols and test-time search and reasoning strategies.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、数学的推論やコード生成といった複雑なタスクにおいて強力なパフォーマンスを達成するために、テスト時間計算をスケールする能力を強調している。 モデルトレーニングは、後のテストタイムの計算戦略と予算の下でパフォーマンスを最適化するためにどのように修正されるべきなのか? これを調べるために、我々は、$N$の独立したサンプルで正しい回答を検索するシンプルなテストタイム戦略であるpass@Nに焦点を当てた。 意外なことに、クロスエントロピー(CE)損失のトレーニングは、パス@Nのパスで${\it misaligned}$、パス@Nの精度${\it decreases}$、長いトレーニングで$である。 本稿では,CEによって誘導されるモデル過信という観点から,この不一致の原因を説明し,pass@Nを介してテスト時間計算をスケールする上での障害として,過信の予測を実験的に検証する。 さらに、モデル信頼性を制限し、pass@Nテストのパフォーマンスを回復することにより、pass@Nに整合した、原則化された修正されたトレーニング損失を提案する。 提案アルゴリズムは,MATHおよびMiniF2Fベンチマークの数学的推論を,(1)質問に対する回答の提供,(2)様々な形状の証明木を探索して定理の証明を行う。 全体として、我々の研究は、LLM開発において伝統的に異なる2つのフェーズ、すなわちトレーニング時プロトコルとテスト時検索と推論戦略を共同設計することの重要性を強調している。

関連論文リスト

• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
  RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2025-02-17T18:43:24Z)
• Learning to Stop Overthinking at Test Time [1.0356759327536202]
  テスト時間のスケーリングは、トレーニング時間のスケーリングが限界に達した後に約束される、最も活発な研究領域の1つです。 テスト時間における各サンプルに必要な最適な計算量を決定するためのテスト時間トレーニング手法を提案する。 また,より効率的かつ堅牢な視覚推論のための新しい繰り返しアーキテクチャであるConv-LiGRUを提案する。
  論文  参考訳（メタデータ） (2025-02-16T02:17:05Z)
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
  o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-30T18:55:12Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。