論文の概要: On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness
- arxiv url: http://arxiv.org/abs/2607.29062v1
- Date: Fri, 31 Jul 2026 06:30:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.635596
- Title: On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness
- Title（参考訳）: チェーン・オブ・サートフルネスのためのステアリングベクトルの一般化について
- Abstract要約: 思考の連鎖(CoT)は、道具的推論ステップの開示に失敗し、それを不信と表現する。
本研究は,Cue型,データセット,ステアリングベクター構築方法にまたがって,忠実性のためのステアリングがいかに一般化するかを考察する。
- 参考スコア（独自算出の注目度）: 0.3499870393443268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model capabilities have improved in large part due to scaling chain of thought. This has been a promising development for AI safety--where models verbalize their reasoning, it is possible to monitor it. However, in some cases, models do not verbalize important steps in their reasoning process. For example, models prompted with a cue suggesting the incorrect answer may fail to acknowledge that cue, even when it appears instrumental to their conclusion. When chain of thought (CoT) fails to disclose instrumental reasoning steps, we describe it as unfaithful. Prior work has shown that activation steering can be a useful method to improve faithfulness in CoT. We extend this line of work by studying how well steering for faithfulness generalizes across cue types, datasets, and methods of constructing the steering vector for three models (Gemma-3 4B, Qwen-3.5 9B, Gemma-3 12B) in a cued question-answering setting. While steering reliably increases cue acknowledgment for only the largest model (Gemma-3 12B), we find that when steering is effective, its effect generalizes broadly across cue types and datasets--in cross-cue and cross-dataset analyses, effect size is determined primarily by the evaluation setting, rather than the vector's train setting. How the vector is built also matters little--four construction methods, including one whose optimization target mentions no specific cue, yield similar effect sizes. Finally, we consider the possibility that steering promotes the salience of the cue and causes greater cue use, rather than targeting verbalization behaviors. However, we find no evidence for this--steering leaves the rate of cue use roughly unchanged while reducing hidden cue use, i.e., cue use that is not acknowledged.
- Abstract（参考訳）: モデルの能力は、思考のスケーリングチェーンによって、大部分が改善されました。
これはAIの安全性のための有望な開発であり、モデルは推論を言葉で表現し、それを監視することが可能である。
しかし、いくつかのケースでは、モデルは推論プロセスにおいて重要なステップを言語化しない。
例えば、誤った解答を示唆するキューでトリガーされたモデルは、たとえそれが結論に有効であるように見えるとしても、そのキューを認識することに失敗する可能性がある。
思考の連鎖(CoT)が道具的推論ステップの開示に失敗した場合、我々はそれを不信と表現する。
以前の研究では、活性化ステアリングはCoTの忠実性を改善するのに有用な方法であることが示されている。
本研究では,3種類のモデル (Gemma-3 4B, Qwen-3.5 9B, Gemma-3 12B) に対するステアリングベクターを構築する方法と, クエタイプ, データセット, および方法にまたがって, 忠実性のためのステアリングがいかに一般化するかを, 質問応答設定で検討することによって, この行を拡張した。
ステアリングは最大モデル(Gemma-3 12B)のみに対するキュー認識を確実に増加させるが、ステアリングが有効である場合には、その効果がキュータイプやデータセット全体にわたって広く一般化され、クロスキューおよびクロスデータセット解析において、ベクターの列車設定よりも評価設定によって効果サイズが決定される。
ベクトルがどのように構築されるかは, 特定のキューに言及せず, 類似した効果サイズが生じることを含む, 4つの構成法も重要である。最後に, ステアリングは, 動詞化行動ではなく, キューのサリエンスを促進し, より大きいキュウ使用を引き起こす可能性を考察する。しかし, ステアリングの速度は, ほとんど変化せず, 隠れキューの使用を減らし, 未確認のキュウ使用を減らしていることを示す証拠は見つからない。
関連論文リスト
- Where Steering Signals Come From: Activation Source Selection in Activation Steering [71.96112659293725]
有効なステアリングは、ソーステキストに望ましい振る舞いが現れるかどうかだけでは説明できない。
強いシグナルは、モデルがターゲットの振る舞いを生成または継続しようとしている実行境界状態から来る。
この観点から、我々は、境界状態から共有のプロンプトと継続のセマンティクスを取り除くテールサブトラクションを導入する。
論文 参考訳（メタデータ） (2026-07-28T04:18:24Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-10T02:55:34Z) - What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。
その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
論文 参考訳（メタデータ） (2026-04-09T17:57:14Z) - Reliable Control-Point Selection for Steering Reasoning in Large Language Models [28.288321095634128]
ステアリングベクトルは、大規模言語モデルにおける推論動作を制御するためのトレーニング不要のメカニズムを提供する。
しかし、有効なベクトルを構成するには、モデルが隠した状態にある真の行動信号を特定する必要がある。
提案手法は,全ての検出された境界が真の行動信号を符号化していることを暗黙的に仮定して,チェーンオブソートトレースのキーワードマッチングによってこれらの挙動を検出する。
本研究では,コンテキスト依存的なトリガ確率を持つ事象として固有の推論動作を形式化する確率モデルを構築し,不安定な境界が操舵信号を弱めることを示す。
論文 参考訳（メタデータ） (2026-04-02T14:48:56Z) - Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。
トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。
操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
論文 参考訳（メタデータ） (2026-02-19T22:37:05Z) - DISCO: Disentangled Communication Steering for Large Language Models [3.4065590965511436]
本稿では,アテンションヘッド内のクエリおよび値表現空間に直接ステアリングベクトルを注入することを提案する。
本研究では,DISCOステアリング(disentangled Communication, Disentangled Communication,DISCO)と呼ばれる手法がアテンションヘッド出力に与える影響を解析的に評価する。
論文 参考訳（メタデータ） (2025-09-20T21:56:03Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - Analyzing the Generalization and Reliability of Steering Vectors [8.253773195379166]
ステアリングベクトルは分布内および分布外の両方にかなりの制限があることを示す。
分散において、ステアビリティは異なる入力間で高度に変動する。
アウト・オブ・ディストリビューション(out-of-distribution)、ステアリングベクトル(steering vector)はよく一般化されるが、いくつかの概念はプロンプトの合理的な変化に対して脆弱である。
論文 参考訳（メタデータ） (2024-07-17T08:32:03Z) - Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。
KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。
本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
論文 参考訳（メタデータ） (2024-06-21T01:37:39Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳（メタデータ） (2022-12-12T13:10:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。