論文の概要: Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation

• arxiv url: http://arxiv.org/abs/2608.20256v2
• Date: Fri, 21 Aug 2026 07:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:31.989126
• Title: Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation
• Title（参考訳）: いつ考えるべきかを学ぶ: テスト時間計算割当の適応推論
• Abstract要約: モデルが3つのモードのうちの1つを選択することで、独自の推論作業の割り当てを学べるかどうかを検討する。 この選択は、別のルータなしで、グループ相対ポリシー最適化の中で学習される。 私たちは、各問題に対してどの程度の推論を行うかを適応的に選択する推論モデルを構築します。
• 参考スコア（独自算出の注目度）: 5.154153910688557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning language models trained with reinforcement learning typically operate under a fixed token budget rather than an explicitly adaptive one, which can lead to over-computation on easy problems and insufficient computation on difficult ones. We study whether a model can learn to allocate its own reasoning effort by choosing, as the first token of its response, one of three modes: \textsc{NoThink} (answer as quickly as possible), \textsc{Short} (brief reasoning), or \textsc{Long} (extended reasoning). The choice is learned inside Group Relative Policy Optimization (GRPO) with no separate router, through a shaped reward that makes each mode worthwhile at a different response length, together with hard per-mode token caps that keep the modes distinct. On a 1.5B distilled model trained on MATH, the three modes emerge without collapsing to a single choice, and the brief modes end up more accurate than \textsc{Long}, which shows that the router sorts problems by difficulty rather than at random. Averaged over three seeds, the resulting policy stays close to the base model's accuracy on the held-out MATH500 ($0.782$ vs.\ $0.796$) while cutting the mean response length from $4{,}796$ to $2{,}811$ tokens (a $41\%$ reduction). Interestingly, it also transfers to other benchmarks without retraining, with the largest savings where problems are easier, with for instance 76\% token reduction on GSM8K and at higher accuracy than the baselines at similar response length. In short, we build a reasoning model that adaptively chooses how much to reason for each problem.
• Abstract（参考訳）: 強化学習で訓練された言語モデルは、明示的な適応性ではなく、固定されたトークン予算の下で動作し、簡単な問題に対する過剰な計算と難解な問題に対する不十分な計算につながる。 モデルが、その応答の最初のトークンとして、できるだけ早く応答する) \textsc{NoThink}、(短い推論) \textsc{Short}、(拡張推論) \textsc{Long}(拡張推論)の3つのモードのうちの1つを選択することで、独自の推論作業の割り当てを学べるかを検討する。 この選択は、グループ相対ポリシー最適化(GRPO)の中で異なるルータを持たない状態で学習され、それぞれのモードを異なる応答長で価値あるものにする形状の報酬と、モードを区別するハードなトークンキャップによって得られる。 MATHで訓練された1.5B蒸留モデルでは、3つのモードは1つの選択に崩壊することなく出現し、短いモードは \textsc{Long} よりも正確になる。 3種以上の種子を平均すると、結果として得られたポリシーは、保持されたMATH500(0.782ドル対)のベースモデルの精度に近づいたままである。 平均応答長を 4{,}796$ から $2{,}811$ に削減しながら、0.796$ となる。 興味深いことに、GSM8Kにおける76\%のトークンの削減や、同じ応答長のベースラインよりも高い精度で、問題の解決が容易な最大のセーブで、リトレーニングなしで他のベンチマークに転送される。 簡単に言えば、各問題に対してどの程度の推論を行うかを適応的に選択する推論モデルを構築します。

関連論文リスト

• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Stateful Reasoning via Insight Replay [51.85629502016196]
  CoT(Chain-of-Thought)推論は,大規模言語モデルにおける多段階推論の基盤となっている。 この現象の主な原因は、CoTが成長するにつれて、トレースの早期に生成された重要な洞察に対するモデルの注意が徐々に弱まることである。 提案手法は、モデルがその推論トレースから定期的に重要な洞察を抽出し、アクティブな世代フロンティア付近で再生するステートフル推論手法である。
  論文  参考訳（メタデータ） (2026-05-14T06:52:59Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits [12.316478346055618]
  思考の連鎖推論はしばしば、モデルを長く考えることで言語モデル精度を改善するための単調な方法として扱われる。 トレースと最終回答の推論が1つのアウトプットの予算を共有している場合、長いトレースは彼らがサポートしようとしている回答をかき集めることができます。 GSM8K、MATH-500、および5つのBIG-Bench HardタスクをQwen3モデルで3つのスケールで実行し、GSM8KとMATH-500では最大2048トークンまでの予算で非思考モードマッチや優れた思考モードを実現した。
  論文  参考訳（メタデータ） (2026-05-08T12:54:53Z)
• Shorter but not Worse: Frugal Reasoning via Easy Samples as Length Regularizers in Math RLVR [21.593023093509302]
  我々は, 緩やかに上向きに上向きに重み付けする問題は, 暗黙的な長さ正規化器として機能することを示した。 textitQwen3-4B-Thinking-2507でこのアプローチを使用した実験では,ベースラインパス@1 AIME25の精度が向上し,平均2倍近いソリューションが生成される。
  論文  参考訳（メタデータ） (2025-11-02T17:29:16Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• ARM: Adaptive Reasoning Model [52.955386431182724]
  本稿では,そのタスクに基づいて適切なフォーマットを適応的に選択できる推論モデルであるAdaptive Reasoning Model (ARM)を提案する。 Ada-GRPOはARMが高いトークン効率を実現し、Long CoTのみに依存するモデルに匹敵するパフォーマンスを維持しながら、トークンを平均30%、最大70%削減する。
  論文  参考訳（メタデータ） (2025-05-26T17:38:50Z)
• Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting [28.537281448659634]
  本稿では,性能損失を伴わない推論トレースを動的に短縮するDAP法を提案する。 実験では、難解なCoTサンプルの100Kだけを微調整した学生モデルが800KのLong CoTサンプルで蒸留されたモデルより優れている。 また,本手法は,11種類の多種多様なベンチマークにおいて,比較的少ないトークンを用いて,長鎖よりも短い難易度CoTの精度を向上する。
  論文  参考訳（メタデータ） (2025-05-26T09:04:44Z)
• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• DAST: Difficulty-Adaptive Slow-Thinking for Large Reasoning Models [30.184895117009457]
  本稿では,問題の難易度に基づいて,モデルが自律的にChain-of-Thought(CoT)の長さを調整できる,DAST(Difficulty-Adaptive Slow Thinking)を提案する。 多様なデータセットとモデルスケールの実験により、DASTは複雑な問題に対する推論精度を維持しながら、過剰思考を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-03-06T14:23:06Z)
• Dualformer: Controllable Fast and Slow Thinking by Learning with Randomized Reasoning Traces [40.127653552777204]
  高速かつ遅い推論モードをシームレスに統合する単一トランスフォーマーモデルであるDoubleformerを提案する。 推論時に、デュアルフォーマーは、高速モードでも遅いモードでも実行できるように設定したり、どのモードをアクティベートするかを自動的に決めることができる。 3つのモードで性能と計算効率の両方でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-10-13T16:53:02Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval [9.136948771060895]
  この設定でさらに改善する2つの方法を評価する。 どちらも、より大きな言語モデルによって生成された合理性と、マルチホップ密度検索システムから生成された長いコンテキストを組み合わせることに焦点を当てている。 我々の最高の推論モデルは、見当たらない評価データセットに対して、強い比較前のベースラインを大幅に改善します。
  論文  参考訳（メタデータ） (2023-08-09T05:06:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。