論文の概要: State of Thought Enables Endogenous Reasoning

• arxiv url: http://arxiv.org/abs/2609.16055v1
• Date: Sun, 13 Sep 2026 05:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.115916
• Title: State of Thought Enables Endogenous Reasoning
• Title（参考訳）: 思考状態は内因性推論を可能にする
• Abstract要約: 大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
• 参考スコア（独自算出の注目度）: 48.902117018115256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time compute has emerged as a major approach to improving the capabilities of Large Language Models (LLMs). However, existing test-time reasoning paradigms rely heavily on externally imposed control, either through fixed reasoning programs or through costly expansion in constrained search spaces, limiting both generalization and efficiency. We propose State of Thought (SoT), a new reasoning paradigm that enables endogenous reasoning in LLMs, with the model's internal reasoning state governing how reasoning unfolds. Concretely, SoT extracts a compact dynamics-geometric state from the model's internal information transfer and uses a 582-parameter controller on frozen backbones to selectively activate historical reasoning support useful under the current reasoning state, framing reasoning as a state-conditioned process over evidence rather than an externally prescribed token chain. Across quantitative (1.34x), general (1.62x), symbolic-and-code (1.76x), and long-context (2.51x) reasoning on 3 LLMs and 16 datasets, SoT consistently improves mean-baseline accuracy while reducing generated tokens by 62.6% and end-to-end latency by 44.6%. Across 2 VLM scales and 3 reasoning tasks, it improves mean accuracy by 3.8 points over reasoning baselines, with 74.9% fewer completion tokens and 73.5% lower latency than search-based methods. Under constrained access, SoT retains 38.2%/36.5% mean accuracy gains in training-free/embedding-only settings, while trajectory-only judging reaches 84.1% agreement across 3 API models. Together, endogenous state-driven reasoning provides a generalizable and efficient alternative.
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力を改善するための主要なアプローチとして、テスト時計算が登場した。 しかし、既存のテストタイム推論パラダイムは、固定的な推論プログラムや制約付き検索空間の費用のかかる拡張を通じて、外部から課される制御に大きく依存しており、一般化と効率の両面で制限されている。 我々は,LLMにおける内在的推論を可能にする新たな推論パラダイムであるState of Thought (SoT)を提案する。 具体的には、SoTは、モデルの内部情報伝達からコンパクトな動的幾何学状態を抽出し、凍結したバックボーン上に582パラメータコントローラを使用して、現在の推論状態において有用な歴史的推論支援を選択的に活性化し、外部に規定されたトークンチェーンではなく、証拠よりも状態条件付きプロセスとしてフレーミング推論を行う。 合計 (1.34x)、一般 (1.62x)、シンボル・アンド・コード (1.76x)、長文 (2.51x) の3つのLLMと16のデータセットに対する推論では、SoTは平均ベースラインの精度を一貫して改善し、生成されたトークンを62.6%削減し、エンドツーエンドのレイテンシを44.6%短縮した。 2つのVLMスケールと3つの推論タスクで、推論ベースラインよりも平均精度が3.8ポイント向上し、74.9%の完了トークンと73.5%のレイテンシが検索ベース手法よりも低い。 制約されたアクセス下では、SoTはトレーニングフリー/エンベッドオンリーの設定において平均精度38.2%/36.5%を維持し、トラジェクトリのみの判断は3つのAPIモデル間で84.1%の合意に達した。 内在的な状態駆動推論は、一般化可能で効率的な代替手段を提供する。

関連論文リスト

• Chain of Simulation: A Dual-Mode Reasoning Framework for Large Language Models with Dynamic Problem Routing [0.0]
  Chain of Simulation(CoS)は、動的に問題を特別な推論戦略にルーティングする新しいデュアルモード推論フレームワークである。 CoSは、数学的問題に対する自己整合性を伴う計算フロー、空間的推論のための表現を伴う記号的状態追跡、マルチホップ推論のためのハイブリッド事実抽出という3つの異なる推論モードを採用している。
  論文  参考訳（メタデータ） (2026-02-02T21:44:01Z)
• ReasoningBomb: A Stealthy Denial-of-Service Attack by Inducing Pathologically Long Reasoning in Large Reasoning Models [67.15960154375131]
  大規模推論モデル(LRM)は、多段階推論トレースを明示した大規模言語モデルを拡張する。 この能力は、推論の高い計算コストを生かした、新しいタイプのプロンプト誘発推論時間拒否攻撃(PI-DoS)を導入している。 本稿では,強化学習に基づくPI-DoSフレームワークであるReasoningBombについて紹介する。
  論文  参考訳（メタデータ） (2026-01-29T18:53:01Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
  CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。 本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
  論文  参考訳（メタデータ） (2025-11-07T22:35:31Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。