論文の概要: Reflection Steering: Disentangling Reflection from Reasoning in Activation Space for Token-Efficient Inference

• arxiv url: http://arxiv.org/abs/2608.25542v1
• Date: Wed, 26 Aug 2026 08:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.69073
• Title: Reflection Steering: Disentangling Reflection from Reasoning in Activation Space for Token-Efficient Inference
• Title（参考訳）: リフレクションステアリング:Token-Efficient推論のためのアクティベーション空間における推論から遠ざかるリフレクション
• Abstract要約: リフレクションは単に確立した結果を再チェックし、トークンの推論を無駄にし、遅延を増加させます。 既存のリフレクションステアリング手法の多くは、ラベル由来の平均差方向を予め設定された層に付加する。 リフレクションステアリング(Reflection Steering)は,LLM内でのリフレクション関連を制御するためのトレーニング不要なフレームワークである。
• 参考スコア（独自算出の注目度）: 14.39927122740842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models often produce reasoning traces with verification, revision, and backtracking. When reflection merely re-checks established results, it wastes reasoning tokens and increases latency. Most existing reflection steering methods add a label-derived mean-difference direction across preset layers, but its entanglement with reasoning and length signals destabilizes the accuracy-efficiency trade-off. In this paper, we propose Reflection Steering, a training-free framework for controlling reflection-associated computation within LLMs by disentangling reflection-related activations from general reasoning. Specifically, we contrast reflective and non-reflective hidden states at each LLM layer, denoise the resulting reflection directions with PCA, and orthogonalize them against general-reasoning directions. To limit downstream amplification from early-layer interventions, we calibrate each layer across multiple intervention strengths on a small set, retain only stable layers, and apply bounded projection removal to their residual-stream activations. We conduct extensive experiments across two public benchmarks and three open-weight LLMs against state-of-the-art activation-steering baselines. Results show that Reflection Steering reduces reasoning tokens by 16.9% on average across six matched settings. Besides, our method further introduces a bounded reflection intervention-strength parameter $α$, enabling deployment-time adjustment to balance token savings, accuracy, and generation stability.
• Abstract（参考訳）: 大きな推論モデルは、検証、リビジョン、バックトラックを伴う推論トレースを生成することが多い。 リフレクションが確立した結果を単に再チェックする場合、推論トークンを浪費し、レイテンシを増大させる。 既存のほとんどのリフレクションステアリング法は、ラベル由来の平均差方向を予め設定された層に付加するが、推論と長さ信号との絡み合いは精度と効率のトレードオフを不安定にする。 本稿では,リフレクション関連アクティベーションを一般の推論から切り離し,LLM内のリフレクション関連計算を制御するためのトレーニングフリーフレームワークであるリフレクションステアリングを提案する。 具体的には、各LCM層における反射および非反射隠れ状態と対比し、その結果の反射方向をPCAで認知し、一般共振方向に対して直交する。 初期層間干渉による下流増幅を抑えるため, 各層を複数の干渉強度で小セットで校正し, 安定層のみを保ち, 残流活性化に有界射影除去を適用した。 2つの公開ベンチマークと3つのオープンウェイトLDMに対して、最先端のアクティベーション-ステアリングベースラインに対して広範な実験を行う。 その結果、リフレクションステアリングにより、6つのマッチした設定で平均16.9%の推論トークンが削減された。 さらに,本手法では, トークンの保存, 精度, 生成安定性のバランスをとるために, 展開時間調整を実現するために, 境界反射干渉強度パラメータを$α$で導入する。

関連論文リスト

• Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs [4.494151943799445]
  この研究において、このような冗長性の主な原因は非効率な反射であり、しばしば2つの問題パターンに現れる。 具体的には、各線形CoTを明示的な依存エッジを持つ有向非巡回グラフ(DAG)に変換する。 実験により,提案手法は平均推論トークンを42%削減し,精度を維持・改善することを示した。
  論文  参考訳（メタデータ） (2026-04-07T09:46:03Z)
• Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
  ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。 リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
  論文  参考訳（メタデータ） (2026-02-24T18:55:18Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• From Latent Signals to Reflection Behavior: Tracing Meta-Cognitive Activation Trajectory in R1-Style LLMs [48.33546389897804]
  R1型LPMは自己反射の能力に注目が集まっているが、そのような行動の基盤となる内部メカニズムはいまだ不明である。 logitレンズを使ってトークンレベルのセマンティクスを読み取ると、構造化された進行が明らかになる。 以上の結果から,潜時モニタリングから談話レベルの規制,そして最終的に自己回帰を過大化させる,人間的なメタ認知プロセスの進展が示唆された。
  論文  参考訳（メタデータ） (2026-02-02T11:58:24Z)
• ReflCtrl: Controlling LLM Reflection via Representation Engineering [6.828302913581854]
  我々は、表現工学のレンズを通して自己反射を研究する。 反射周波数を制御できるステップワイズステアリング法を提案する。 実験では、性能を維持しながら推論トークンの最大33.6%を節約できる。
  論文  参考訳（メタデータ） (2025-12-16T00:38:34Z)
• Meaningless Tokens, Meaningful Gains: How Activation Shifts Enhance LLM Reasoning [53.35553353785948]
  問合せプロンプトの前に無意味なトークンの長いシーケンスを挿入することで、LCM性能の推論を継続的に強化できるというファズリング観測により、本研究は、この現象を駆動する基盤となるメカニズムを解析する。 その結果,LLM層における活性化の再分配により,大きな活性化が増大するにつれて,ほぼゼロに近い活性化頻度が低下することが判明した。 本稿では,入力シーケンスを変更することなく,アクティベーションを直接修正する軽量な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:39:38Z)
• Unveiling the Latent Directions of Reflection in Large Language Models [3.396557052704669]
  モデルアクティベーションにおける遅延方向レンズによる反射について検討する。 新しい反射誘導命令は体系的に識別でき、反射行動を直接強化または抑制することができる。 この研究は、大きな言語モデルにおける反射的推論の機械論的理解への道を開く。
  論文  参考訳（メタデータ） (2025-08-23T11:05:15Z)
• Dereflection Any Image with Diffusion Priors and Diversified Data [86.15504914121226]
  本稿では、効率的なデータ準備パイプラインと、頑健な反射除去のための一般化可能なモデルを備えた包括的解を提案する。 まず、ターゲットシーンでランダムに回転する反射媒体によって生成された横反射除去(DRR)というデータセットを紹介する。 第2に、決定論的出力と高速推論のための1ステップ拡散を伴う拡散に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T17:48:14Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。