論文の概要: Concise-9B: Removing the Slack from a Reasoning Model's Thinking
- arxiv url: http://arxiv.org/abs/2611.02278v1
- Date: Sun, 01 Nov 2026 23:02:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.543532
- Title: Concise-9B: Removing the Slack from a Reasoning Model's Thinking
- Title(参考訳): 簡潔な9B:Reasoning Modelの思考からSlackを取り除く
- Abstract要約: 推論モデルは、より長く考えるとより良く答えるが、その答が作られた後も、思考の痕跡はうまく行き続ける。
このスラックをQwen3.5-9Bで測定し,その大部分を簡潔な自己学習で除去する。
ハードと確認セットの各トレースに2,048個の思考トークンに答えるように強制すると、Qwen3.5-9Bの思考トークンの54-64%は、全ての強制回答が最終トークンに等しい点から来る。
- 参考スコア(独自算出の注目度): 51.56484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning models answer better when they think longer, but a thinking trace keeps going well after its answer has formed. We measure this slack in Qwen3.5-9B and remove most of it with concise self-training: two rounds of on-policy rejection-sampling fine-tuning that keep the shortest correct samples, plus a small share of answer-synthesis targets, giving Concise-9B. On 8,983 held-out problems (competition and hard mathematics, SuperGPQA, a five-area confirmation set and MMLU-Pro), Concise-9B generates 0.66x the tokens of Qwen3.5-9B at a 32K thinking budget, with accuracy equivalent within +/-1 point (-0.20 [-0.77, +0.36] points). Forcing each trace on the hard and confirmation sets to answer every 2,048 thinking tokens, we find that 54-64% of Qwen3.5-9B's thinking tokens come after the point from which every forced answer equals the final one (41-48% for Concise-9B). Stopping there would keep every answer at 0.35-0.44x the base model's tokens, but finding that point takes hindsight: stopping when three consecutive forced answers agree costs the base model 2.4-9.2 points. Concise self-training removes slack without that cost: 86% [83, 90] of the thinking tokens it saves come after the answer has formed. It has a limit: with traces continued to 80K tokens, Concise-9B solves 25 fewer of 1,276 hard problems (-25 [-49, -1]), mostly in competition mathematics. The measurement also yields a cheap commit signal for adaptive sampling that matched two-sample escalation within +/-1 point at 0.67x its tokens in a pre-registered test. Results on Qwen3.5-4B, on which the recipe was developed, and a replication on Olmo-3-7B-Think suggest that the saving depends on how verbose the base model is.
- Abstract(参考訳): 推論モデルは、より長く考えるとより良く答えるが、その答が作られた後も、思考の痕跡はうまく行き続ける。
このスラックをQwen3.5-9Bで測定し,その大半を簡潔な自己学習で除去する。
8,983のホールドアウト問題(競合とハード数学、SuperGPQA、五領域確認セット、MMLU-Pro)では、Concise-9Bは32Kの思考予算でQwen3.5-9Bのトークンを0.66倍に生成し、その精度は+/-1点(-0.20 [-0.77, +0.36] 点)で同等である。
ハードと確認セットのそれぞれのトレースに2,048個の思考トークンに答えるように強制すると、Qwen3.5-9Bの思考トークンの54-64%は、全ての強制回答が最終トークンに等しい(Concise-9Bの41-48%)。
すべての解答を基本モデルのトークンの0.35-0.44倍に維持するが、その点を見つけるには後から注意が必要である: 3つの連続的な強制的な解答が合意すれば、基本モデルの2.4-9.2点のコストがかかる。
86%[83, 90]の思考トークンは、答が作られた後に得られるものです。
トレースが80Kトークンまで続くと、Concise-9B は 1,276 のハード問題 (-25 [-49, -1]) の 25 個より少ない問題を、主に競合数学で解決する。
また、アダプティブサンプリングのための安価なコミット信号は、予め登録されたテストでトークンの0.67倍の+/-1点内での2サンプルエスカレーションと一致した。
レシピが開発されたQwen3.5-4Bと、Olmo-3-7B-Thinkの複製の結果から、この保存はベースモデルの冗長性に依存することが示唆された。
関連論文リスト
- Fewer Tokens, More Answers: Verifiable-Reward Tuning of an Ornith-Style VLM for Multi-View Driving QA [1.8352113484137627]
推論可能なモデルデリバティブは、中間的な議論をデプロイメント予算内で有用な答えにする必要があります。
我々は,マルチカメラ駆動型質問応答に適応したオルニスチェックポイントの遷移を検証可能な報酬で検討した。
これらの結果は,有限予算下での回答提供の適応であり,明示的な選択と証明の限界があると考えられる。
論文 参考訳(メタデータ) (2026-10-31T11:33:32Z) - Settle: Learning When to Stop Reasoning [9.608752144616842]
Settle氏は、完了したトレースで回答の安定性を止める方法を学ぶ。
Qwen3-4B の MATH-500 では、セトルはトークン数を 0.5 ポイントの精度で 40% 削減する。
論文 参考訳(メタデータ) (2026-09-30T05:12:05Z) - When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。
このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
論文 参考訳(メタデータ) (2026-08-11T20:08:51Z) - CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル
各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。
コントラストエビデンスポリシー最適化(CEPO)を提案する。
CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
論文 参考訳(メタデータ) (2026-05-19T06:46:19Z) - The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits [12.316478346055618]
思考の連鎖推論はしばしば、モデルを長く考えることで言語モデル精度を改善するための単調な方法として扱われる。
トレースと最終回答の推論が1つのアウトプットの予算を共有している場合、長いトレースは彼らがサポートしようとしている回答をかき集めることができます。
GSM8K、MATH-500、および5つのBIG-Bench HardタスクをQwen3モデルで3つのスケールで実行し、GSM8KとMATH-500では最大2048トークンまでの予算で非思考モードマッチや優れた思考モードを実現した。
論文 参考訳(メタデータ) (2026-05-08T12:54:53Z) - SyncThink: A Training-Free Strategy to Align Inference Termination with Reasoning Saturation [11.021989271617835]
我々は、モデルの重みを変更することなく、Chain-of-Thoughtオーバーヘッドを低減する、トレーニングフリーでプラグイン・アンド・プレイのデコーディング手法SyncThinkを提案する。
答えトークンは、初期の推論に弱い従属し、代わりに情報ボトルネックを示す特別なトークン"/think"に注目します。
GSM8K、MMLU、GPQA、BBHを3つのDeepSeek-R1蒸留モデルで実験した結果、SyncThinkの平均Top-1精度は62.00%であることがわかった。
論文 参考訳(メタデータ) (2026-01-07T07:00:15Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳(メタデータ) (2025-05-23T14:17:56Z) - Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。
代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう?
私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
論文 参考訳(メタデータ) (2023-10-03T17:32:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。