論文の概要: Probing and Steering for Safety-Relevant Behaviours in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.30363v1
• Date: Wed, 21 Oct 2026 19:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.117774
• Title: Probing and Steering for Safety-Relevant Behaviours in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける安全関連行動の探索とステアリング
• Abstract要約: アクティベーションプローブは、言語モデルの残留ストリーム内の方向を計算し、安全関連行動の制御に使用される。 このようなプローブの背後にある主要な設計選択が、ひとつのパイプライン内で、1つのモデルでどのように相互作用するかを調査する。 パターンが逆転する薬局には当てはまらないが, 偽りや高奪いには当てはまる。
• 参考スコア（独自算出の注目度）: 2.4000316930916843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation probes are computed directions in a language model's residual stream, used both to detect safety-relevant behaviours and, by adding their direction back into the stream, to steer them. We explore how the main design choices behind such probes interact, within one pipeline, on one model (Llama-3.1-8B-Instruct), and across three behaviours: deception, high-stakes awareness and sycophancy. The pipeline crosses two estimators (difference-of-means and logistic regression) with three token-pooling schemes (last, mean and learned attention), selects appropriate layers to detect or steer a behaviour, and evaluates every direction twice: as a detector of the behaviour, and as a steering vector to push outputs towards the behaviour. Prior work read together suggests a read/write dissociation, in which logistic regression reads (detects) best but difference-of-means directions write (steer) best. We find that it holds for deception and high-stakes but not for sycophancy, where the pattern reverses. The reversal appears to follow partially from the data rather than from the estimators. The best pooling technique and the layer choice depend on the behaviour and data, and the layer that steers best can sit well before the layer that detects best. The right steering metric to use between changing a model's perception and eliciting behaviour depends on the task - and the two can disagree outright. The exported probes and directions power an interactive interface through which a user can score and steer text directly.
• Abstract（参考訳）: アクティベーションプローブは、言語モデルの残留ストリーム内の方向を計算し、安全関連行動の検出と、その方向をストリームに付加することで、それらをステアリングする。 このようなプローブの背後にある主要な設計上の選択は、1つのパイプライン内で、1つのモデル(Llama-3.1-8B-Instruct)でどのように相互作用するか、そして3つの動作 – 詐欺行為、高い意識、梅毒(sycophancy) – に対して検討する。 パイプラインは2つの推定器(平均差とロジスティック回帰)を3つのトークンプーリングスキーム(ラスト、平均、学習された注意)で渡り、振る舞いを検知または操る適切なレイヤを選択し、すべての方向を2回評価する。 読み込み/書き込みの解離では、ロジスティック回帰(検出)が最善だが、差分方向(判断)が最善である。 パターンが逆転する薬局には当てはまらないが, 偽りや高奪いには当てはまる。 逆転は、推定値からではなく、データから部分的に従っているように見える。 最高のプーリングテクニックとレイヤの選択は、振る舞いとデータに依存します。 モデルの知覚の変化と振る舞いの引き起こしの間に使用する適切なステアリングメトリックは、タスクに依存します。 エクスポートされたプローブと方向は、ユーザーが直接テキストのスコアとステアリングを行うことができるインタラクティブインターフェースに電力を供給する。

関連論文リスト

• A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models [4.165512410177194]
  拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T05:54:31Z)
• Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models [75.34700827901757]
  一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。 独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。 感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
  論文  参考訳（メタデータ） (2026-08-24T11:38:22Z)
• Detecting and Controlling Sycophancy with Cascading Linear Features [7.13923185919936]
  動作に責任のあるカスケード線形特徴を分離する反復データ生成パイプラインを提案する。 私たちは、ユーザのバリデーションを優先する言語モデルの傾向である、梅毒の検知とステアリングに重点を置いています。
  論文  参考訳（メタデータ） (2026-06-23T20:10:53Z)
• Reliable Control-Point Selection for Steering Reasoning in Large Language Models [28.288321095634128]
  ステアリングベクトルは、大規模言語モデルにおける推論動作を制御するためのトレーニング不要のメカニズムを提供する。 しかし、有効なベクトルを構成するには、モデルが隠した状態にある真の行動信号を特定する必要がある。 提案手法は,全ての検出された境界が真の行動信号を符号化していることを暗黙的に仮定して,チェーンオブソートトレースのキーワードマッチングによってこれらの挙動を検出する。 本研究では,コンテキスト依存的なトリガ確率を持つ事象として固有の推論動作を形式化する確率モデルを構築し,不安定な境界が操舵信号を弱めることを示す。
  論文  参考訳（メタデータ） (2026-04-02T14:48:56Z)
• Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
  ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。 トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。 操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
  論文  参考訳（メタデータ） (2026-02-19T22:37:05Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。