論文の概要: s1: Simple test-time scaling

• arxiv url: http://arxiv.org/abs/2501.19393v2
• Date: Mon, 03 Feb 2025 16:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 12:43:38.701356
• Title: s1: Simple test-time scaling
• Title（参考訳）: s1: 単純なテスト時間スケーリング
• Authors: Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, Tatsunori Hashimoto,
• Abstract要約: テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
• 参考スコア（独自算出の注目度）: 148.4204982041058
• License:
• Abstract: Test-time scaling is a promising new approach to language modeling that uses extra test-time compute to improve performance. Recently, OpenAI's o1 model showed this capability but did not publicly share its methodology, leading to many replication efforts. We seek the simplest approach to achieve test-time scaling and strong reasoning performance. First, we curate a small dataset s1K of 1,000 questions paired with reasoning traces relying on three criteria we validate through ablations: difficulty, diversity, and quality. Second, we develop budget forcing to control test-time compute by forcefully terminating the model's thinking process or lengthening it by appending "Wait" multiple times to the model's generation when it tries to end. This can lead the model to double-check its answer, often fixing incorrect reasoning steps. After supervised finetuning the Qwen2.5-32B-Instruct language model on s1K and equipping it with budget forcing, our model s1-32B exceeds o1-preview on competition math questions by up to 27% (MATH and AIME24). Further, scaling s1-32B with budget forcing allows extrapolating beyond its performance without test-time intervention: from 50% to 57% on AIME24. Our model, data, and code are open-source at https://github.com/simplescaling/s1
• Abstract（参考訳）: テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 最近、OpenAIのo1モデルは、この能力を示したが、その方法論を公表しなかったため、多くのレプリケーション作業に繋がった。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。 まず、1000の質問からなる小さなデータセットs1Kを、難易度、多様性、品質の3つの基準に基づいて、推論トレースと組み合わせてキュレートします。 第二に、モデルの思考プロセスを強制的に終了させ、あるいはモデルが終了しようとするときに「待機」を複数回追加することで、テストタイムの計算を強制的に制御する予算を策定する。 これにより、モデルが答をダブルチェックし、しばしば誤った推論ステップを修正することができる。 s1K 上で Qwen2.5-32B-インストラクト言語モデルを微調整し、それを予算強制で装備した後、我々のモデル s1-32B は競合数学の質問に対する o1-preview を最大27%(MATH と AIME24)超えた。 さらに、予算強制によるs1-32Bのスケーリングでは、テストタイムの介入なしに、AIME24で50%から57%のパフォーマンスを外挿できる。 私たちのモデル、データ、コードはhttps://github.com/simplescaling/s1でオープンソースです。

関連論文リスト

• OpenAI-o1 AB Testing: Does the o1 model really do good reasoning in math problem solving? [2.851415653352522]
  OpenAIによるOrion-1モデルは、以前の大規模言語モデルよりも堅牢な論理的推論能力を持つと言われている。 IMO(International Mathematics Olympiad)問題からなる2つのデータセットを用いて比較実験を行った。 モデルが問題や解の記憶に依存していることを示す重要な証拠は存在しないと結論付けている。
  論文  参考訳（メタデータ） (2024-11-09T14:47:52Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• A Comparative Study on Reasoning Patterns of OpenAI's o1 Model [69.08287909042421]
  OpenAIのo1モデルは、ほとんどのデータセットで最高のパフォーマンスを実現しています。 また、いくつかの推論ベンチマークについて詳細な分析を行う。
  論文  参考訳（メタデータ） (2024-10-17T15:09:03Z)
• A Case Study of Web App Coding with OpenAI Reasoning Models [1.7268889851975326]
  我々は,OpenAIの最新推論モデルであるo1-previewとo1-miniによるコーディングタスクのケーススタディを,他のフロンティアモデルと比較した。 o1モデルは、シングルタスクのベンチマークであるWebApp1Kに対して、SOTA結果を提供する。この結果、WebApp1K-Duoは、多くのタスクとテストケースを倍にする、より難しいベンチマークである。
  論文  参考訳（メタデータ） (2024-09-19T06:58:02Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• SITA: Single Image Test-time Adaptation [48.789568233682296]
  テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。 我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。 ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。 本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
  論文  参考訳（メタデータ） (2021-12-04T15:01:35Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。