論文の概要: SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.10296v1
• Date: Sat, 11 Jul 2026 12:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.386193
• Title: SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Models
• Title（参考訳）: SPARK:大規模言語モデルにおけるサセプティビリティ誘導型プロファイリングと潜在推論状態のステアリング
• Authors: Dongxu Zhang, Yiding Sun, Zihao Guo, Xiangyang Yang, Kai Tang, Lin Chen, Cheng Tan, Jihua Zhu,
• Abstract要約: 本稿では,モデルが有効な推論状態に入るかどうかを診断するために隠れ状態応答を用いるSPARKを紹介する。 ステアリングは、障害を推論するための診断信号としてだけでなく、テスト時間の介入を目標とする実用的なガイドとしても機能する。
• 参考スコア（独自算出の注目度）: 26.849417177804302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning failures in large language models (LLMs) are usually evaluated from final answers, but a wrong answer does not reveal why the model failed. The same incorrect output may reflect missing capability, an unstable reasoning trajectory, or a failure to activate a reasoning state that is already available in the frozen model. Existing prompting and benchmark-based evaluation methods mostly operate at the output level, while generic activation-steering methods typically apply global directions without diagnosing which examples require intervention. In this paper, we introduce SPARK, which uses hidden-state response to diagnose whether a model internally enters an effective reasoning state and to guide lightweight test-time steering. The key observation is that raw hidden-state susceptibility is strongly confounded by prompt length, especially in programmatic and algorithmic reasoning where harder serialized instances naturally become longer. SPARK therefore uses length-controlled susceptibility to separate input-scale effects from residual reasoning activation, and combines this signal with cross-layer coordination to select reasoning-active anchors and under-activated hard examples. We use FRONTIER-4.5K as a controlled programmatic reasoning suite for latent profiling and difficulty-aware analysis, and evaluate SPARK-Steering on GSM8K and MATH-500 with forward-only benchmark profiling. Our method improves Qwen3 series models consistently; on MATH-500, accuracy rises from 82.0% to 84.6% for Qwen3-4B and from 82.4% to 85.6% for Qwen3-8B. These results suggest that susceptibility can serve not only as a diagnostic signal for reasoning failures, but also as a practical guide for targeted test-time intervention.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論失敗は通常最終回答から評価されるが、間違った答えはモデルが失敗した理由を明らかにしない。 同じ誤った出力は、不足する能力、不安定な推論軌道、あるいは凍結モデルで既に利用可能である推論状態の活性化の失敗を反映している可能性がある。 既存のプロンプトおよびベンチマークに基づく評価手法は、主に出力レベルで動作し、一般的なアクティベーションステアリング法は、どの例が介入を必要とするかを診断することなく、大域的な方向を適用するのが一般的である。 本稿では,モデルが効果的な推論状態に入るかどうかを診断するために隠れ状態応答を用いたSPARKを導入し,軽量なテスト時間ステアリングを誘導する。 特に、より厳密なシリアライズされたインスタンスが自然に長くなるプログラム的およびアルゴリズム的推論において、生の隠れ状態の感受性は即時長さによって強く結合される。 したがって、SPARKは、入力スケール効果を残留推論活性化から分離するために長さ制御された感受性を使用し、このシグナルを層間調整と組み合わせて、推論活性アンカーとアンダーアクティベートされたハード例を選択する。 FRONTIER-4.5K を潜時プロファイリングと難易度解析のためのプログラム推論スイートとして使用し,GSM8K および MATH-500 上での SPARK-Steering をフォワードオンリーのベンチマークプロファイリングで評価した。 MATH-500では,Qwen3-4Bでは82.0%から84.6%,Qwen3-8Bでは82.4%から85.6%に精度が向上した。 これらの結果から, 感受性は障害原因の診断信号としてだけでなく, 試験時間介入の実践的ガイドとしても有効であることが示唆された。

関連論文リスト

• Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models [0.00304396936267654]
  大規模言語モデルは、手続き的コンプライアンスが重要である領域において、自信はあるがプロトコル非有意義な答えを生み出すことができる。 本稿では,決定論的ランタイムおよびオーサリング層であるAnswer Engineeringについて述べる。 本手法は,突発性感音難聴に対する臨床評価基準を用いて評価した。
  論文  参考訳（メタデータ） (2026-06-19T05:47:44Z)
• SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
  言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。 私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。 SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
  論文  参考訳（メタデータ） (2026-04-07T19:19:29Z)
• Reliable Control-Point Selection for Steering Reasoning in Large Language Models [28.288321095634128]
  ステアリングベクトルは、大規模言語モデルにおける推論動作を制御するためのトレーニング不要のメカニズムを提供する。 しかし、有効なベクトルを構成するには、モデルが隠した状態にある真の行動信号を特定する必要がある。 提案手法は,全ての検出された境界が真の行動信号を符号化していることを暗黙的に仮定して,チェーンオブソートトレースのキーワードマッチングによってこれらの挙動を検出する。 本研究では,コンテキスト依存的なトリガ確率を持つ事象として固有の推論動作を形式化する確率モデルを構築し,不安定な境界が操舵信号を弱めることを示す。
  論文  参考訳（メタデータ） (2026-04-02T14:48:56Z)
• Amortized Reasoning Tree Search: Decoupling Proposal and Decision in Large Language Models [2.5170433424424874]
  Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルにおける厳格な推論能力を取り入れるための支配的なパラダイムとして、自らを確立している。 このアライメントプロセスにおいて重要な病理は、有効だが稀な(ベースモデル分布下での低様相)推論経路の体系的抑制である。 本稿では,ベースモデルの潜伏多様性を捨てることなく,この崩壊を防止すべく,ARTS(Amortized Reasoning Tree Search)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T11:52:50Z)
• ReasoningBomb: A Stealthy Denial-of-Service Attack by Inducing Pathologically Long Reasoning in Large Reasoning Models [67.15960154375131]
  大規模推論モデル(LRM)は、多段階推論トレースを明示した大規模言語モデルを拡張する。 この能力は、推論の高い計算コストを生かした、新しいタイプのプロンプト誘発推論時間拒否攻撃(PI-DoS)を導入している。 本稿では,強化学習に基づくPI-DoSフレームワークであるReasoningBombについて紹介する。
  論文  参考訳（メタデータ） (2026-01-29T18:53:01Z)
• The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
  そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。 GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
  論文  参考訳（メタデータ） (2025-09-18T07:50:04Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。