論文の概要: State over Tokens: Characterizing the Role of Reasoning Tokens

• arxiv url: http://arxiv.org/abs/2512.12777v1
• Date: Sun, 14 Dec 2025 17:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.433502
• Title: State over Tokens: Characterizing the Role of Reasoning Tokens
• Title（参考訳）: 名目上:名目上、名目上、名目上、名目上、名目上
• Authors: Mosh Levy, Zohar Elyoseph, Shauli Ravfogel, Yoav Goldberg,
• Abstract要約: 大きな言語モデル(LLM)は、最終的な答えの前に推論トークンを生成し、複雑なタスクのパフォーマンスを向上させる。 LLMが行うプロセスを真に理解するためには、研究は推論トークンをテキストとして読むことを超えて、それらをステートとしてデコードすることに注力する必要がある、と我々は主張する。
• 参考スコア（独自算出の注目度）: 37.09286375762863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、最終的な答えの前に推論トークンを生成し、複雑なタスクのパフォーマンスを向上させる。 これらのシーケンスは人間の思考過程のように見えるが、実証的な証拠は、モデルが実際の推論過程を忠実に説明していないことを示している。 外観と機能の間にあるこのギャップに対処するために、我々は、SoT(State over Tokens)概念フレームワークを紹介します。 SoTは、推論トークンを言語的な物語ではなく、外部化された計算状態として再設定する。 これは、トークンがテキストとして読み上げられたときに忠実な説明をすることなく、どのように正しい推論を促せるかを説明し、これまで見過ごされていたこれらのトークンに関する研究質問を表面化する。 LLMが行うプロセスを真に理解するためには、研究は推論トークンをテキストとして読むことを超えて、それらをステートとしてデコードすることに注力する必要がある、と我々は主張する。

関連論文リスト

• MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
  大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。 自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。 MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-09-29T16:44:22Z)
• Mini-Omni-Reasoner: Token-Level Thinking-in-Speaking in Large Speech Models [80.75260664100644]
  Mini-Omni-Reasonerは、"Thinking-in-Speaking"という新しい定式化を通じて、音声内での推論を可能にするフレームワークである。 トークンレベルで音声応答トークンとサイレント推論トークンをインターリーブする。 算術的推論では+19.1%、文脈的理解では+6.4%、出力は短く、復号遅延はゼロである。
  論文  参考訳（メタデータ） (2025-08-18T15:14:04Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking [34.55545753125674]
  自己学習型推論器の一般化であるQuiet-STaRについて述べる。 LMは、将来のテキストを説明するために各トークンで合理性を生成することを学ぶ。 GSM8KとCommonsenseQAではゼロショットの改善が見られた。
  論文  参考訳（メタデータ） (2024-03-14T17:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。