論文の概要: SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.25045v1
• Date: Sun, 18 Oct 2026 06:02:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:37:04.99649
• Title: SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization
• Title（参考訳）: SteadyThought:Thought-Level Preference OptimizationによるLLMアンダーシンキングの緩和
• Abstract要約: ステアディ・ソート(Steady Thought)は、新しい思考レベルの選好最適化フレームワークである。 スイッチングポイントにおける優先問題として、過小評価を形式化します。 新たに生成された応答を好ましく、元の応答を好ましくないものとして扱い、思考レベルの嗜好を最適化する。
• 参考スコア（独自算出の注目度）: 59.24426322564082
• License:
• Abstract: Flexible switching between reasoning trajectories (i.e., thought switching) has significantly enhanced the reasoning capabilities of Large Reasoning Models (LRMs). However, existing models often switch excessively yet fail to sustain promising reasoning thoughts, a phenomenon termed "under-thinking". While recent efforts suppress switching to mitigate this, such over-correction may discard valuable trajectories. To address this challenge, we propose Steady Thought (ST), a novel thought-level preference optimization framework. ST formalizes under-thinking as a preference issue at switching points, forcing single-path continuations from identified points to yield high-quality reasoning. Then, ST performs thought-level preference optimization by treating the newly generated response as preferred and the original one as dis-preferred. Experiments across multiple models and datasets show that ST effectively reduces token consumption, achieving reductions of up to 63.8%, while maintaining strong reasoning accuracy. Further analysis suggests that ST helps models acquire a generalizable ability to reduce redundant switching across domains and languages. Code is available at https://github.com/MIRALab-USTC/SteadyThought.
• Abstract（参考訳）: 推論軌跡間の柔軟な切り替え(思考切替)は、Large Reasoning Models(LRMs)の推論能力を大幅に向上させた。 しかし、既存のモデルはしばしば過度に切り替えるが、有望な推論思考を維持できない。 近年の取り組みでは、これを緩和するための切り替えが抑制されているが、そのような過補正は価値ある軌道を捨てる可能性がある。 この課題に対処するために,新しい思考レベルの選好最適化フレームワークであるStady Thought(ST)を提案する。 STはスイッチングポイントの優先問題として過小評価を定式化し、特定のポイントから単一パスの継続を強制して高品質な推論をもたらす。 そして、STは、新たに生成された応答を好ましく、元の応答を好ましくないものとして扱い、思考レベルの選好最適化を行う。 複数のモデルとデータセットにわたる実験により、STはトークン消費を効果的に削減し、63.8%まで削減し、強い推論精度を維持していることが示された。 さらなる分析により、STはドメインや言語間の冗長な切り替えを減らす一般化可能な能力を得るのに役立つことが示唆されている。 コードはhttps://github.com/MIRALab-USTC/SteadyThought.comで入手できる。

関連論文リスト

• EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization [23.37325724250601]
  大規模な推論モデル(LRM)は、冗長な検証ステップのために過度に検討されることが多い。 冗長な検証を減らし,新たな推論経路の探索を促すフレームワークであるEvoThinkを提案する。
  論文  参考訳（メタデータ） (2026-07-22T09:40:22Z)
• OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping [5.086360473456115]
  我々は,チェーン・オブ・プルーニングを最適停止問題として定式化する軽量プラグインフレームワークであるOS-Prunerを紹介した。 推論プレフィックスが与えられた後、OS-Prunerは、さらなる推論がそのトークンコストに値するかどうかを学習する。 様々な推論ベンチマークとベースモデルにおいて、OS-Prunerは最小限の精度で生成長を20-60%削減する。
  論文  参考訳（メタデータ） (2026-07-13T04:57:22Z)
• ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning [69.64972562984882]
  提案するThoughtFoldは,よりきめ細かい選好学習を,効率的な推論のための冗長探索に活用するフレームワークである。 ThoughtFoldは効率を大幅に向上させる。 最先端の精度を維持しつつ、DeepSeek-R1-Distill-Qwen-7Bのトークン使用量を約56%削減する。
  論文  参考訳（メタデータ） (2026-06-02T11:21:27Z)
• AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering [76.52199013231484]
  マルチホップ質問回答(QA)における適応的インターリーブド思考のための強化学習(RL)に基づくフレームワークAdaptR1を紹介する。 Graph-R1設定では、AdaptR1は平均的なシンクトークンを69.71%削減し、HotpotQAは90.35%削減された。 分析の結果,マルチホップ推論における過度な思考は,一様分布ではなく,初期計画段階で主に発生することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-29T09:34:45Z)
• Mitigating Overthinking in Large Reasoning Language Models via Reasoning Path Deviation Monitoring [35.58177960646011]
  LRLMにおける過剰思考を緩和する早期退避法を提案する。 本手法は,既存手法に比べてバニラCoTよりも高い性能向上を実現している。
  論文  参考訳（メタデータ） (2026-03-15T07:00:47Z)
• Neural Chain-of-Thought Search: Searching the Optimal Reasoning Path to Enhance Large Language Models [61.55758048622473]
  最適思考戦略の動的探索として推論を再構成するフレームワークであるNeural Chain-of-Thought Search (NCoTS)を導入する。 解空間を定量的に特徴づけることで、標準出力よりも正確かつ簡潔なスパース優良推論経路の存在を明らかにする。
  論文  参考訳（メタデータ） (2026-01-16T14:38:18Z)
• Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization [5.674809920704963]
  Latent Thought Policy Optimizationは、LLM推論を完全にテスト時に強化する。 実験により、LTPOは標準タスクの強いベースラインに適合または超えるだけでなく、他のタスクが失敗する際、顕著な堅牢性を示すことが示された。 とりわけ、既存の遅延推論ベースラインがほぼゼロに近い精度に崩壊する非常に難しいAIMEベンチマークでは、LTPOが大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-05T12:50:39Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。