Fugu-MT 論文翻訳(概要): DoubtLess: Training-Free Contrastive Decoding for Efficient Reasoning

論文の概要: DoubtLess: Training-Free Contrastive Decoding for Efficient Reasoning

arxiv url: http://arxiv.org/abs/2610.18862v1
Date: Tue, 13 Oct 2026 17:59:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:15.707541
Title: DoubtLess: Training-Free Contrastive Decoding for Efficient Reasoning
Title（参考訳）: DoubtLess: 効率的な推論のためのトレーニング不要のコントラストデコーディング
Abstract要約: ロングチェーン・オブ・シンク(CoT)による推論モデルの性能向上既存のCoTの短縮には、各モデルのトレーニングの追加、モデルの隠れた状態に固定されたステアリングベクトルの追加、あるいは早期停止や"wait"のような単語の禁止といったデコードを使用する必要がある。より小さな推論モデルで大部分を簡潔に操る学習自由復号法であるDoubtLessを提案する。
参考スコア（独自算出の注目度）: 5.185584621338163
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reasoning models achieve strong performance through long chains of thought (CoT), but often spend more tokens than needed to solve a problem. Existing ways to shorten the CoT require additional training for each model, add a fixed steering vector to the model's hidden states, or use decoding heuristics such as stopping early or banning words like "wait", which can reduce accuracy. We propose DoubtLess, a training-free decoding method in which a much smaller reasoning model steers the large one towards brevity. The small model reads the large model's CoT so far twice, once prompted to be brief (the brief thinker) and once prompted to be verbose (the verbose thinker), and the difference between its two logit vectors, scaled by a strength, is added to the large model's logits at every step of the CoT. On seven benchmarks of competition mathematics, graduate-level science and competitive programming, DoubtLess shortens the CoT of Qwen3-32B by 31% with unchanged accuracy, outperforming five inference-time baselines. We also show that DoubtLess reduces thinking tokens per turn by 20% in a self-debugging coding agent with unchanged task performance. It also generalizes to two other model families with unchanged accuracy. When combined with training-based compression, it further shortens the CoT of a model already trained for brevity. Ablations and behavioral analysis show that DoubtLess reduces repeated checking, with most token savings coming after the correct answer first appears in the CoT. Our code is available at https://github.com/leoluolol/DoubtLess.
Abstract（参考訳）: 推論モデルは、長いチェーンの思考(CoT)を通じて強力なパフォーマンスを達成するが、多くの場合、問題を解決するために必要以上に多くのトークンを使う。既存のCoTの短縮には、各モデルのトレーニングの追加、モデルの隠れた状態に固定されたステアリングベクトルの追加、あるいは早期停止や"wait"のような単語の禁止といったデコードヒューリスティックを使用する必要がある。より小さな推論モデルで大部分を簡潔に操る学習自由復号法であるDoubtLessを提案する。小さなモデルは、これまで2回大きなモデルのCoTを読み、一度は簡潔(簡潔な思考者)に促され、一度は冗長(冗長な思考者)に促され、その2つのロジットベクトル間の差は、CoTの各ステップで大きなモデルのロジットに追加される。競合数学、大学院レベルの科学、競争プログラミングの7つのベンチマークにおいて、DoubtLessはQwen3-32BのCoTを31%短縮し、精度は変化せず、5つの推論時間ベースラインを上回った。また、DoubtLessはタスク性能が変化しない自己デバッグ型コーディングエージェントにおいて、1ターンあたりの思考トークンを20%削減することを示した。また、精度が変わらない他の2つのモデルファミリにも一般化する。トレーニングベースの圧縮と組み合わせることで、すでに簡潔にトレーニングされたモデルのCoTをさらに短縮する。アブレーションと行動分析は、DoubtLessが繰り返しチェックを減らし、CoTに正しい回答が最初に現れると、ほとんどのトークンセーブが現れることを示している。私たちのコードはhttps://github.com/leoluolol/DoubtLess.comで利用可能です。

関連論文リスト

ExpThink: Experience-Guided Reinforcement Learning for Adaptive Chain-of-Thought Compression [14.830831997228657]
大きな推論モデル(LRM)は、拡張チェーン・オブ・シークレット(CoT)推論を通じて高いパフォーマンスを達成するが、過度のトークン消費と高い推論遅延に悩まされる。両次元を2つの相補的な機構で処理するRLフレームワークである textbfExpThinkxspace を提案する。複数の数学的推論ベンチマークの実験により、textbfExpThinkxspaceは平均応答長を最大77%削減し、同時に精度を向上することを示した。
論文参考訳（メタデータ） (2026-05-08T09:37:30Z)
CtrlCoT: Dual-Granularity Chain-of-Thought Compression for Controllable Reasoning [29.057579417751203]
チェーン・オブ・シント(CoT)はLCM推論を改善するが、冗長なトレースによって高いレイテンシとメモリコストを発生させる。セマンティック抽象化とトークンレベルのプルーニングを調和させるデュアルグラニュラリティCoT圧縮フレームワークである textbfCtrlCoT を提案する。
論文参考訳（メタデータ） (2026-01-28T10:38:49Z)
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文参考訳（メタデータ） (2025-07-23T08:14:36Z)
The Challenge of Teaching Reasoning to LLMs Without RL or Distillation [31.973226821366325]
推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
論文参考訳（メタデータ） (2025-07-14T01:14:50Z)
Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting [0.0]
Chain-of-Thought(CoT)プロンプトは,大規模言語モデルに“ステップバイステップ”を推奨するテクニックである。 CoTプロンプトの有効性はタスクの種類やモデルによって大きく異なる。明確な推論能力を持つモデルの場合、CoTのプロンプトは答えの正確性に限界があるだけである。
論文参考訳（メタデータ） (2025-06-08T13:41:25Z)
Efficient Reasoning for LLMs through Speculative Chain-of-Thought [39.56636034410561]
OpenAI-o1やDeepseek-R1のような大きな推論言語モデルは、タスク解決能力が優れていたため、広く注目を集めている。効率的な推論のための既存の方法は、主にモデルパラメータの数を減らしたり、チェーンオブ思考の長さを短縮することに焦点を当てている。本稿では,平均推論速度の高速化により推理遅延を他の視点から低減するSCoT(Speculative Chain-of-Thought)を提案する。
論文参考訳（メタデータ） (2025-04-27T03:56:39Z)
Efficient Reasoning Models: A Survey [73.00621058885054]
本調査は,近年の効率的な推論の進歩を包括的に概観することを目的としている。 1)短い圧縮CoTを簡潔で効果的な推論チェーンに、(2)より小さい - 強力な推論能力を持つコンパクトな言語モデルを開発する、(3)より高速に、という3つの重要な方向性に分類する。
論文参考訳（メタデータ） (2025-04-15T06:28:00Z)
CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
論文参考訳（メタデータ） (2025-02-13T18:52:36Z)
LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組むまた,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2025-02-11T08:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。