論文の概要: Reasoning Models Don't Just Think Longer, They Move Differently

• arxiv url: http://arxiv.org/abs/2605.15454v1
• Date: Thu, 14 May 2026 22:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.281825
• Title: Reasoning Models Don't Just Think Longer, They Move Differently
• Title（参考訳）: Reasoning Modelsは、より長く考えるだけでなく、異なる動きをする
• Authors: Anders Gjølbye, Lars Kai Hansen, Sanmi Koyejo,
• Abstract要約: 競合プログラミング,数学,ブール適合性におけるチェーン・オブ・ソート生成における隠れ状態軌道による区別について検討する。 最も明確な推論固有の分離は、より難しい問題によってより直接修正された軌道を示すコードドメインに現れます。 これらの結果から, 時間的軌道解析の前提条件として長さ補正が確立され, 推理訓練が精度の高い軌道形状に関連付けられることが示唆された。
• 参考スコア（独自算出の注目度）: 25.136448013973904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning-trained language models often spend more tokens on harder problems, but longer chains of thought do not show whether a model is merely computing for more steps or following a different internal trajectory. We study this distinction through hidden-state trajectories during chain-of-thought generation across competitive programming, mathematics, and Boolean satisfiability. Raw trajectory geometry is strongly shaped by generation length: longer generations mechanically alter path statistics, so difficulty-dependent comparisons are misleading without adjustment. After residualizing trajectory statistics on length, difficulty remains systematically coupled to corrected trajectory geometry across all domains studied. The clearest reasoning-specific separation appears in the code domain, where harder problems show more direct corrected trajectories and less heterogeneous local curvature in reasoning-trained models than in matched instruction-tuned baselines. Corrected difficulty-geometry coupling is weaker, but still present, in mathematics and Boolean satisfiability. Prompt-stage linear probes do not mirror the code-domain separation, and behavioral annotations show that stronger corrected coupling co-occurs with strategy shifts and uncertainty monitoring. Together, these findings establish length correction as a prerequisite for generation-time trajectory analysis and show that reasoning training can be associated with distinct corrected trajectory geometry, with the strength of the effect depending on the domain.
• Abstract（参考訳）: 推論訓練された言語モデルは、しばしば難しい問題により多くのトークンを使うが、思考の長い連鎖は、モデルが単により多くのステップのために計算されているか、あるいは異なる内部軌道に従っているかを示すものではない。 我々はこの区別を、競合プログラミング、数学、ブール適合性にまたがるチェーン・オブ・ソート生成中の隠れ状態軌跡を通して研究する。 より長い世代は経路統計を機械的に変更するので、困難に依存した比較は調整なしで誤解を招く。 長さの軌跡統計を残留化した後も、困難は研究されたすべての領域にわたる補正軌跡と体系的に結びついている。 最も明確な推論固有の分離はコード領域に現れ、より難しい問題は推論訓練されたモデルにおいて、命令調整されたベースラインよりも直接修正された軌道と不均一な局所曲率を示す。 修正困難幾何結合はより弱いが、数学やブール整合性において依然として存在する。 プロンプトステージの線形プローブはコード領域分離を反映せず、行動アノテーションは、強い補正された結合が戦略シフトや不確実性監視と共起していることを示している。 これらの結果は, 時間的軌跡解析の前提条件として長さ補正が確立され, 推論トレーニングは, 領域による影響の強さとともに, 異なる補正軌跡幾何に関連付けられることを示した。

関連論文リスト

• Generalization in LLM Problem Solving: The Case of the Shortest Path [20.04578544593786]
  最短経路計画に基づく制御された合成環境を導入する。 モデルは強い空間移動を示すが、常に長尺スケールで失敗する。 学習パイプラインの異なる段階が系統的な問題解決にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2026-04-16T17:59:43Z)
• Manifold Percolation: from generative model to Reinforce learning [0.26905021039717986]
  生成的モデリングは通常、学習マッピング規則としてフレーム化されるが、これらの規則にアクセスできない観察者の視点からすると、そのタスクは確率分布から幾何学的支援を引き離すことになる。 本研究は, サンプリングプロセスが, 高次元密度推定を支持面上の幾何カウント問題に効果的に投射するので, 連続体パーコレーションは, この支援解析に一意に適していることを示す。
  論文  参考訳（メタデータ） (2025-11-25T17:12:42Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
  言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。 直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
  論文  参考訳（メタデータ） (2025-09-30T19:03:26Z)
• Performative Thinking? The Brittle Correlation Between CoT Length and Problem Complexity [23.225139930889522]
  本研究は,中間トークン列長が問題難易度と相関するか否かを批判的に検討する。 我々は、A*探索アルゴリズムの導出トレースに基づいて、スクラッチからトランスフォーマーモデルを訓練する。 最も単純なタスクであっても、しばしば過度に長い推論トレースを生成し、時にはソリューションの生成に失敗する。
  論文  参考訳（メタデータ） (2025-09-09T02:31:16Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study [4.798155648915794]
  大規模言語モデルにおける推論を改善するための2つの重要な要因について検討する。 我々は、カスタムトークン化器を用いて、質問-トレース-回答三重項に対してデコーダのみの変換器を訓練する。 同じトレーニングの予算で、非効率なトレースで訓練されたモデルは、目に見えないグラフよりも一般化される。
  論文  参考訳（メタデータ） (2025-07-07T18:00:06Z)
• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。