論文の概要: Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
- arxiv url: http://arxiv.org/abs/2606.09873v1
- Date: Tue, 02 Jun 2026 18:05:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:57.982027
- Title: Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
- Title（参考訳）: Rotate2Think: 言語モデル推論を改善する直交回転による幾何学的プライミング
- Authors: Aditya Sharma, Christopher J. Pal, Amal Zouaq,
- Abstract要約: 推論における表現空間の内部構造は理解されていない。
入力埋め込みと思考埋め込みの両方が極めて高い円錐性を示すことを示す。
本稿では,このロータテ2シンク(Rotate2Think)を提案する。
- 参考スコア（独自算出の注目度）: 7.799141616169557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning models achieve strong performance on challenging tasks by generating explicit intermediate reasoning traces before producing a final answer. Yet the internal structure of representation space when reasoning remains poorly understood: how do a model's hidden representations differ during thinking versus the embeddings of the input prompt, and can this structure be exploited to elicit stronger reasoning at inference time? We show that both input embeddings and thinking embeddings (mean-pooled last-layer hidden states over the prompt and reasoning trace, respectively) exhibit extremely high conicity, with all vectors clustering tightly around a single mean direction. Crucially, these mean input and thinking directions are non-collinear, with thinking embeddings occupying a geometrically distinct region of embedding space across many different models and benchmark tasks. This observation motivates casting the input-to-thinking transition as a rotation problem admitting a closed-form solution via orthogonal Procrustes analysis. We propose Rotate2Think, a training-free method that estimates this rotation from a small set of correctly solved examples and injects the resulting synthetic thinking vector between thinking delimiters at inference time, providing a geometric primer at the onset of the reasoning trace. Evaluated across multiple benchmarks and model families, Rotate2Think improves accuracy in 30 of 32 model-benchmark configurations across mathematics, science, and code tasks, and generalizes zero-shot to multimodal reasoning on MATH-Vision.
- Abstract（参考訳）: 推論モデルは、最終回答を生成する前に、明示的な中間推論トレースを生成することによって、困難なタスクに対して強力なパフォーマンスを達成する。
しかし、推論における表現空間の内部構造は、まだ理解されていない:モデルが隠れた表現を思考と入力プロンプトの埋め込みの間にどのように異なるのか、そして、この構造を推論時により強い推論を引き出すために利用することができるのか?
入力埋め込みと思考埋め込み(それぞれプロンプトと推論トレース上に隠れた平均層状態)は、全てのベクトルが1つの平均方向に密集している非常に高い円錐性を示すことを示す。
重要なことに、これらの平均的な入力方向と思考方向は、多くの異なるモデルとベンチマークタスクにまたがって、幾何学的に異なる埋め込み空間を占有する考え方を持つ非線型である。
この観察は、直交Procrustes解析による閉形式解を許容する回転問題として、入力から考えへの遷移をキャストする動機付けとなる。
提案手法は, 正しい解の小さな例からこの回転を推定し, 推論時間における思考ディミッタ間の合成思考ベクトルを注入し, 推論トレースの開始時の幾何プライマーを提供する, 学習自由な手法であるRotate2Thinkを提案する。
複数のベンチマークとモデルファミリで評価され、Rotate2Thinkは数学、科学、コードタスクにわたる32のモデルベンチマーク構成のうち30の精度を改善し、MATH-Vision上でゼロショットからマルチモーダル推論を一般化する。
関連論文リスト
- PRISM: A Dual View of LLM Reasoning through Semantic Flow and Latent Computation [15.91920027845529]
PRISM(Probabilistic Reasoning Inspection through Semantic and Implicit Modeling)は、両方のレベルを共同で分析するためのフレームワークおよび診断ツールである。
これは、推論過程における系統的なパターンを明らかにし、失敗した軌道は非生産的な検証ループに閉じ込められる傾向にあることを示した。
PRISMは、最終タスクの精度にのみ依存するのではなく、これらの振る舞いを観測し分析可能にする。
論文 参考訳（メタデータ） (2026-03-24T03:31:53Z) - PointCoT: A Multi-modal Benchmark for Explicit 3D Geometric Reasoning [82.55361351483005]
我々は,3次元データに対する明示的なチェーン・オブ・ソート(CoT)推論でMLLMを強化する新しいフレームワークであるPointCoTを提案する。
両ストリームのマルチモーダルアーキテクチャを活用することで,幾何学的真理とセマンティックな外観を相乗化することができる。
論文 参考訳（メタデータ） (2026-02-27T11:47:45Z) - Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning [44.0190939401003]
推論時間再考(Inference-Time Rethinking)は、反復的な自己補正を可能にする生成フレームワークである。
我々は、推論を連続的な潜在思考ベクトル(何を推論すべきか)と、このベクトル上で条件付けられたトレースを言語化する復号器に分解する。
論文 参考訳（メタデータ） (2026-02-06T10:23:18Z) - Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。
GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
論文 参考訳（メタデータ） (2026-01-07T23:05:17Z) - Selection, Reflection and Self-Refinement: Revisit Reasoning Tasks via a Causal Lens [19.316594303998667]
推論タスクは、機械学習モデルの能力を評価するための厳格なベンチマークとみなされてきた。
我々は、因果的視点から推論タスクを再考し、潜在空間におけるそれらの振る舞いを理解する。
SR$2$と呼ばれるフレームワークを導入し、推定された潜在変数を選択機構にフィードバックとして組み込む。
論文 参考訳（メタデータ） (2025-10-09T13:45:31Z) - REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model [29.40036398095681]
推論多様体(Reasoning Manifold)は、すべての正しく推論された世代に対応する内部表現によって形成される潜在低次元幾何学構造である。
誤りと正しい推論サンプルに対応する内部モデル表現の空間的関係を定量的に比較することにより,障害の起源を説明するフレームワークであるREMAを構築した。
多様な言語およびマルチモーダルモデルおよびタスクに関する実験は、推論多様体の低次元の性質と誤った推論表現と正しい推論表現の間の高い分離性を示す。
論文 参考訳（メタデータ） (2025-09-26T16:02:27Z) - Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。
提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。
GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-06-18T21:15:59Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - On the Diagram of Thought [20.805936414171892]
大規模言語モデル(LLM)は多くのタスクで優れているが、構造化された多段階の推論を必要とする複雑な問題に悩まされることが多い。
思考のダイアグラム(Diagram of Thought, DoT)は、1つのLCMがその推論のメンタルマップを構築し、ナビゲートすることを可能にする新しいフレームワークである。
論文 参考訳（メタデータ） (2024-09-16T07:01:41Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。