論文の概要: Learning a Continue-Thinking Token for Enhanced Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2506.11274v1
• Date: Thu, 12 Jun 2025 20:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.574863
• Title: Learning a Continue-Thinking Token for Enhanced Test-Time Scaling
• Title（参考訳）: テスト時間スケーリングの強化のための継続学習トークンの学習
• Authors: Liran Ringel, Elad Tolochinsky, Yaniv Romano,
• Abstract要約: テストタイムのスケーリングは、推論時の追加計算を利用することで、言語モデルのパフォーマンスを改善する効果的なアプローチとして現れている。 近年の研究では、終端トークンのオーバーライドが推論のステップを延長し、精度を向上させることが示されている。 本研究は,拡張推論を誘発するために,専用トークンを学習できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 15.231981094907386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling has emerged as an effective approach for improving language model performance by utilizing additional compute at inference time. Recent studies have shown that overriding end-of-thinking tokens (e.g., replacing "</think>" with "Wait") can extend reasoning steps and improve accuracy. In this work, we explore whether a dedicated continue-thinking token can be learned to trigger extended reasoning. We augment a distilled version of DeepSeek-R1 with a single learned "<|continue-thinking|>" token, training only its embedding via reinforcement learning while keeping the model weights frozen. Our experiments show that this learned token achieves improved accuracy on standard math benchmarks compared to both the baseline model and a test-time scaling approach that uses a fixed token (e.g., "Wait") for budget forcing. In particular, we observe that in cases where the fixed-token approach enhances the base model's accuracy, our method achieves a markedly greater improvement. For example, on the GSM8K benchmark, the fixed-token approach yields a 1.3% absolute improvement in accuracy, whereas our learned-token method achieves a 4.2% improvement over the base model that does not use budget forcing.
• Abstract（参考訳）: テストタイムのスケーリングは、推論時の追加計算を利用することで、言語モデルのパフォーマンスを改善する効果的なアプローチとして現れている。 近年の研究では, 終末トークン(例えば, "</think> を "Wait" に置き換える)をオーバーライドすることで, 推論のステップを延長し, 精度を向上させることが示されている。 本研究は,拡張推論を誘発するために,専用トークンを学習できるかどうかを考察する。 我々は,DeepSeek-R1の蒸留バージョンを1つの学習された"|continue-thinking|>"トークンで拡張し,モデルの重みを凍結させながら強化学習による埋め込みのみを訓練する。 実験の結果,この学習トークンは,ベースラインモデルと,固定トークン(例えば "Wait" など)を予算の強制に用いたテスト時間スケーリング手法の両方と比較して,標準的なベンチマークの精度が向上していることが判明した。 特に,固定的アプローチがベースモデルの精度を高める場合,本手法は著しく向上する。 例えば、GSM8Kベンチマークでは、固定トークン法は精度が1.3%向上するのに対し、学習トークン法は予算強制を用いないベースモデルよりも4.2%向上する。

関連論文リスト

• Learning to Insert [PAUSE] Tokens for Better Reasoning [6.823521786512908]
  我々はDIT(Dynamic Inserting Tokens Training)と呼ばれる新しいアプローチを導入する。 本手法は,トークンログに類似したモデル信頼度が最も低いシーケンス内の位置を同定する。 GSM8Kでは最大4.7%、AQUA-RATでは3.23%、MBPPデータセットでは最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-06-04T06:48:41Z)
• KTAE: A Model-Free Algorithm to Key-Tokens Advantage Estimation in Mathematical Reasoning [19.25257653416883]
  Key-token Advantage Estimation (KTAE)は、新たなモデルを導入することなく、きめ細かいトークンレベルの利点を推定する新しいアルゴリズムである。 GRPO+KTAEとDAPO+KTAEで訓練されたモデルは、5つの数学的推論ベンチマークにおいてベースライン法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-22T16:00:33Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning [32.45574194957491]
  クロスエントロピー損失のあるトレーニングは、パス@Nのパス@Nの精度$itは、長いトレーニングで$$を下げることを示す。 モデル信頼性を制限し、pass@Nテストのパフォーマンスを回復することにより、pass@Nに整合した、原則化された修正されたトレーニング損失を提案する。
  論文  参考訳（メタデータ） (2025-02-11T00:33:31Z)
• T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。