論文の概要: Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering

• arxiv url: http://arxiv.org/abs/2607.18100v1
• Date: Mon, 20 Jul 2026 16:01:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.695709
• Title: Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering
• Title（参考訳）: LLMは自己ループから切り離せるか? 活性化ステアリングによる微粒化推論制御
• Authors: Sheldon Yu, Tong Yu, Xunyi Jiang, Rohan Surana, Gagan Mundada, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu,
• Abstract要約: 大規模言語モデルからの推論トレースにおける潜時遷移のダイナミクスを解析し,発見する。 フェールトラジェクトリが自己ループで立ち往生していることを示し、最終回答に向けて前進することなくトークン予算を浪費する。 隠れ状態干渉・活性化による推論過程のステアリングについて提案する。
• 参考スコア（独自算出の注目度）: 44.273459587532535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Extended reasoning has become standard for frontier Large Language Models (LLMs), yet the trajectories these models produce remain largely uncontrollable. Existing methods for shaping how a model reasons are prompt based approaches and operate at the input level, offering no fine-grained control over the reasoning process itself. Related work analyzes and discovers latent transition dynamics in the reasoning traces from Large Language Models. Building on this, we statistically characterize these states, and show that failure trajectories get stuck in self-loops, exhausting the token budget without progress toward the final answer. To intervene on these failures, We propose SOPHIA: Steering Of reasoning Processes via Hidden-state Intervention and Activations. We treat each reasoning trace as a sequence of latent states rather than an unstructured texts, and investigate whether inference time interventions can provide fine-grained control over the self-looping reasoning process. We classify every prefix to a latent state, record step level transitions, and use them to construct a bank of steering vectors indexed by state pairs. At inference time, a controller infers the current state and, given a target state, retrieves the corresponding vector and can also detect self-loops online from the transition structure to prevent the model from sinking into a reasoning black hole. Through extensive experiments, our method reliably intervenes on self-loop failures, with steering vectors that generalize to different state pairs. End task accuracy and token efficiency indicate that fine-grained controllability results in better reasoning quality.
• Abstract（参考訳）: 拡張推論はフロンティア大言語モデル(LLM)の標準となっているが、これらのモデルが生み出す軌道は制御不能なままである。 モデル理由がどのようにプロンプトベースアプローチであるかを定式化し、入力レベルで動作し、推論プロセス自体のきめ細かい制御を提供しない既存の方法。 関連する作業は、大規模言語モデルからの推論トレースにおける潜伏遷移のダイナミクスを分析し、発見する。 これに基づいて、これらの状態を統計的に特徴付け、障害軌跡が自己ループで立ち往生していることを示し、最終回答に向けて前進することなくトークン予算を浪費する。 これらの障害に対処するために、我々はSOPHIA: Steering of reasoning Processs via Hidden-state Intervention and Activationsを提案する。 我々は,各推論トレースを非構造化テキストではなく潜在状態の列として扱い,推論時間介入が自己ループ推論プロセスのきめ細かい制御を可能にするかどうかを考察する。 各プレフィックスを潜在状態に分類し、ステップレベルの遷移を記録し、ステートペアによってインデックス付けされたステアリングベクトルのバンクを構築する。 推定時、コントローラは現在の状態を推測し、目標状態が与えられた後、対応するベクトルを検索し、遷移構造からオンラインの自己ループを検出して、モデルが推論されたブラックホールに沈むのを防ぐ。 広範な実験を通じて,本手法は,異なる状態対に一般化するステアリングベクトルを用いて,自己ループ故障に確実に介入する。 エンドタスクの精度とトークン効率は、きめ細かい制御性によって推論品質が向上することを示している。

関連論文リスト

• Learning to Refine Hidden States for Reliable LLM Reasoning [0.21485350418225244]
  大規模言語モデルは強力な推論能力を示すが、複雑な多段階設定では内部推論プロセスは不安定である。 本稿では,復号化前に隠蔽表現を反復的に更新する強化誘導潜時改善フレームワークReLARを提案する。
  論文  参考訳（メタデータ） (2026-06-16T05:03:27Z)
• Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning [27.851326399978394]
  大規模言語モデルは、拡張チェーン・オブ・ソート推論により最終回答精度を向上させる。 既存の効率的な推論手法は、トレースの短縮、早期停止、圧縮によって思考長を制御する。 本稿では,マルコフ決定過程の推論を定式化したACTS(Agenic Chain-of-Thought Steering)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:51:30Z)
• Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform [1.6746114653388389]
  大規模言語モデルは、言語生成と知識集約タスクにおいて強力なパフォーマンスを達成する。 これらの制限は、潜在環境力学に対するシーケンス予測と推論の客観的なミスマッチから生じる可能性がある。 言語とマルチモーダルな観察を基礎となる遷移力学の部分的証拠として解釈する概念的視点である潜在ダイナミクス推論(LDI)を紹介する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:34Z)
• Rethinking State Tracking in Recurrent Models Through Error Control Dynamics [26.942965240880515]
  本研究では,アフィン再帰ネットワークが状態表現を保存すると,状態分離部分空間の誤りを訂正できないことを示す。 我々は、ロバストな状態追跡がアーキテクチャの理論的表現性だけでなく、エラー制御によって決定されることを証明した。
  論文  参考訳（メタデータ） (2026-05-08T13:59:15Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• From "Aha Moments" to Controllable Thinking: Toward Meta-Cognitive Reasoning in Large Reasoning Models via Decoupled Reasoning and Control [11.321315058502215]
  大規模推論モデル(LRM)は、ステップバイステップの推論、リフレクション、バックトラッキングなどの認知行動を自発的に示すことで、複雑な推論の潜在能力を示した。 しかし、そのような創発的行動は規制されず、制御されていないままであり、しばしば過度に考え直され、モデルが信頼できる結論に達した後も冗長な推論内容を生成し続ける。 現在のモデルは、いつ継続するか、バックトラックするか、終了するかを決定するために、彼らの推論プロセスを監視し、適応的に管理できない。 我々はメタ認知推論フレームワーク(MERA)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T13:59:17Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。