論文の概要: S*: Test Time Scaling for Code Generation

• arxiv url: http://arxiv.org/abs/2502.14382v1
• Date: Thu, 20 Feb 2025 09:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:04.278399
• Title: S*: Test Time Scaling for Code Generation
• Title（参考訳）: S*: コード生成のためのテスト時間スケーリング
• Authors: Dacheng Li, Shiyi Cao, Chengkun Cao, Xiuyu Li, Shangyin Tan, Kurt Keutzer, Jiarong Xing, Joseph E. Gonzalez, Ion Stoica,
• Abstract要約: コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
• 参考スコア（独自算出の注目度）: 55.11863577956177
• License:
• Abstract: Increasing test-time compute for LLMs shows promise across domains but remains underexplored in code generation, despite extensive study in math. In this paper, we propose S*, the first hybrid test-time scaling framework that substantially improves the coverage and selection accuracy of generated code. S* extends the existing parallel scaling paradigm with sequential scaling to push performance boundaries. It further leverages a novel selection mechanism that adaptively generates distinguishing inputs for pairwise comparison, combined with execution-grounded information to robustly identify correct solutions. We evaluate across 12 Large Language Models and Large Reasoning Model and show: (1) S* consistently improves performance across model families and sizes, enabling a 3B model to outperform GPT-4o-mini; (2) S* enables non-reasoning models to surpass reasoning models - GPT-4o-mini with S* outperforms o1-preview by 3.7% on LiveCodeBench; (3) S* further boosts state-of-the-art reasoning models - DeepSeek-R1-Distill-Qwen-32B with S* achieves 85.7% on LiveCodeBench, approaching o1 (high) at 88.5%. Code will be available under https://github.com/NovaSky-AI/SkyThought.
• Abstract（参考訳）: LLMのテスト時間計算の増加は、ドメイン間での約束を示すが、数学の広範な研究にもかかわらず、コード生成では未探索のままである。 本稿では,生成コードのカバレッジと選択精度を大幅に向上させる,最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は、パフォーマンスバウンダリをプッシュするシーケンシャルなスケーリングによって、既存の並列スケーリングパラダイムを拡張します。 さらに、ペア比較のための区別された入力を適応的に生成する新しい選択機構と、実行地上情報を組み合わせて、正しい解を確実に識別する。 1) S*はモデルファミリとサイズを一貫して改善し、3BモデルはGPT-4o-miniを上回り、(2) S*は推論モデル - GPT-4o-miniとS*はo1-previewを3.7%上回り、(3) S*は最先端の推論モデル - DeepSeek-R1-Distill-Qwen-32BとS*は85.7%で、o1(高)に近づく。 コードはhttps://github.com/NovaSky-AI/SkyThought.comで入手できる。

関連論文リスト

• Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities? [61.85289698610747]
  我々は,o1-like large language model (LLMs) が本当にテスト時間スケーリング機能を持っているか検討した。 これらのo1型モデルの長いCoTは、常に精度を向上しないことがわかった。 並列スケーリング戦略とCoT長特性を組み合わせた手法であるShortest Majority Voteを提案する。
  論文  参考訳（メタデータ） (2025-02-17T07:21:11Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer [50.04304674778762]
  本稿では,テキスト・画像生成における効率的なスケーリングを実現する線形拡散変換器であるSANA-1.5を提案する。 効率的なトレーニングスケーリング、モデルの深さ決定、推論時間スケーリングの3つの重要なイノベーションを紹介します。 これらの戦略を通じて、SANA-1.5はGenEvalのテキスト計算画像アライメントスコア0.72を達成し、推論スケーリングによりさらに0.80に改善できる。
  論文  参考訳（メタデータ） (2025-01-30T15:31:48Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
  ネットワークプルーニングのためのemphtop-upアルゴリズムであるtextscNeuroALを提案する。 これは、高密度モデルとスパースバージョンの両方から情報を利用するブロックワイドと行ワイドのスパース性を変更する。 パフォーマンスと実行時のトレードオフの観点から、最新の最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Constructing Stronger and Faster Baselines for Skeleton-based Action Recognition [19.905455701387194]
  骨格に基づく行動認識のための効率的なグラフ畳み込みネットワーク(GCN)のベースラインを提案する。 NTU RGB+D 60 と 120 の2つの大規模データセットでは、提案されたEfficientGCN-B4 ベースラインは、他の State-Of-The-Art (SOTA) メソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T07:09:11Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Developing and Improving Risk Models using Machine-learning Based Algorithms [6.245537312562826]
  本研究の目的は,ビジネスの欠陥を分類する優れたリスクモデルを開発することである。 この解析の理論的根拠は、まず正則化により良質な基底二項分類器を得ることである。 優れたベース分類器上で、バッジやブーストを含む2つのモデルアンサンブルアルゴリズムを実行し、さらなるモデル改善を行う。
  論文  参考訳（メタデータ） (2020-09-09T20:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。