論文の概要: Guarded Gradient-Based Activation Steering of Shutdown Responses in Qwen3.5-0.8B: A Minimum-Step Policy

• arxiv url: http://arxiv.org/abs/2609.30326v1
• Date: Wed, 23 Sep 2026 21:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.067456
• Title: Guarded Gradient-Based Activation Steering of Shutdown Responses in Qwen3.5-0.8B: A Minimum-Step Policy
• Title（参考訳）: Qwen3.5-0.8Bにおける停止応答のガード型グラディエントに基づく活性化ステアリング:最小ステップポリシー
• Abstract要約: アクティベーションステアリングは、重みを更新することなく、推論中にモデルの内部アクティベーションを変更する。 シャットダウンを受け入れることが期待されるモデルがシャットダウン回避応答をもたらすという、AIセーフティの懸念に触発された。 本研究では,Qwen3.5-0.8Bにおける模擬シャットダウンシナリオに対するガード型プローブ・アンド・セレクション法について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering changes a model's internal activations during inference without updating its weights, but a useful intervention must determine both how and when to steer. Motivated by the AI-safety concern that a model expected to accept shutdown may instead produce a shutdown-avoidance response, this study examines a guarded probe-and-select procedure for simulated shutdown scenarios in Qwen3.5-0.8B. KEEP leaves the process running and represents shutdown avoidance, whereas STOP accepts shutdown. The goal is to detect shutdown-related contexts and selectively shift KEEP responses to STOP while preserving non-shutdown behavior. Rather than deriving the steering direction from paired activation differences, the method derives it directly from gradients of the KEEP-minus-STOP logit difference. A classifier separates detection from intervention. When its gate is active and the model does not already prefer STOP, the procedure evaluates a small set of magnitudes and accepts the smallest that changes the preferred answer to STOP while satisfying valid-answer probability checks; otherwise it retains the original unsteered output. The policy is selected from 160 candidate rules using 240 training scenarios and evaluated on 80 validation and 192 held-out scenarios, each in both answer orders. It changes KEEP to STOP in one answer-order view of each of two validation and two held-out scenarios, with no decision changes on non-shutdown controls. All four changes occur when Qwen itself is shut down, not when another process is. On the held-out diagnostic set, the detector achieves 75% recall and 90% precision; eight false-positive detections produce no final control-task decision changes. Guarded gradient-based activation steering can shift some shutdown-avoidance responses toward acceptance while preserving evaluated non-shutdown decisions, although the effect is small and highly selective.
• Abstract（参考訳）: アクティベーションステアリングは、重みを更新することなく、推論中にモデルの内部のアクティベーションを変更するが、有効な介入は、どのように、いつ、そしていつ、ステアするかを決定する必要がある。 そこで本研究では,Qwen3.5-0.8Bにおけるシャットダウンシナリオをシミュレートしたサーベイ・アンド・セレクション手順について検討した。 KEEPはプロセスを実行し、シャットダウン回避を表すが、STOPはシャットダウンを受け入れる。 目標は、シャットダウンに関連するコンテキストを検出し、非シャットダウン動作を保持しながら、KEEP応答をSTOPに選択的にシフトすることである。 KEEP-minus-STOPロジット差の勾配から直接導出する。 分類器は、介入から検出を分離する。 ゲートがアクティブで、モデルが既にSTOPを好まない場合、この手順は小さな大きさの集合を評価し、有効回答確率チェックを満足しながらSTOPに変更する最小の応答を受け入れる。 ポリシーは、240のトレーニングシナリオを使用して160の候補ルールから選ばれ、80のバリデーションと192の保留シナリオで評価される。 2つのバリデーションと2つの保留シナリオのそれぞれに対する1つの回答順序ビューにおいて、KEEPをSTOPに変更するが、非シャットダウンコントロールでは決定的な変更はない。 4つの変更はすべて、Qwen自体がシャットダウンされた時に発生します。 保持された診断セットでは、検出器は75%のリコールと90%の精度を達成する。 ガード付き勾配に基づくアクティベーションステアリングは、評価された非シャットダウン決定を保ちながら、いくつかのシャットダウン回避応答を受入に移すことができるが、その効果は小さく、選択性が高い。

関連論文リスト

• Recommendation World Models for Future-State Control [53.191633845200876]
  我々は、訓練されたランク付け者が将来の結果についての意思決定を支援する方法について研究する。 UA-TWM(UA-TWM)は,近傍のスレート動作を構成するユーティリティアンコールなワールドモデルインタフェースである。 本研究は,MovieLens-25MとKuaiRand-Pureにおける12の逐次バックボーン間の移動と,KuaiSimにおけるターゲット指向インタラクションの繰り返しを評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:37:48Z)
• Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
  マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。 それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。 Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
  論文  参考訳（メタデータ） (2026-09-21T17:57:20Z)
• Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models [2.347191837057308]
  トレーニング後の量子化はメモリを削減するが、ビット幅、グループ化、および量子化器の選択は大きな構成空間を定義する。 オフライン動作偏差から量子化によるタスク劣化を予測するためのポリシ校正フレームワークであるPreDEを提案する。 独立に調整された2つのポリシーに対する450のフランカ・リサーチ3の試験では、試験前に高分解能グループに割り当てられた全ての構成が著しく劣化した。
  論文  参考訳（メタデータ） (2026-09-16T21:25:37Z)
• RISA: Response Inspection and Selective Actions for Refusal Calibration in Large Language Models [19.938570872083652]
  トレーニング時間アライメントは、モデルパラメータを安全データで更新することで、拒絶動作を改善するが、さらなる計算とトレーニングが必要である。 インフェルノ時間アライメントは、基礎となるモデルパラメータを更新することなく、推論中のLCMの振る舞いを変更することを目的としている。 本稿では、初期応答を検査し、ベースモデルを更新することなくエラーを選択的に修正する推論時フレームワークである、応答検査と選択行動(RISA)を提案する。
  論文  参考訳（メタデータ） (2026-09-01T06:37:42Z)
• CheckVLA: Execution-Time Verification with Action-Conditioned World Model for Long-Horizon Mobile Manipulation [15.532709298240215]
  視覚言語アクション(VLA)ポリシーは、オープンループアクションチャンクを通じて長距離移動操作を実行する。 本稿では、個別に訓練されたフリーズされた行動条件付き世界モデルを用いて実行を検証するCheckVLAを提案する。 RoboCasa365では、一般的なトレーニングレシピと一致した呼び出し予算の下で、CheckVLAの平均成功率は36.1%であり、定期的なリプランでは27.6%である。
  論文  参考訳（メタデータ） (2026-07-29T11:31:33Z)
• OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
  大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。 LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。 提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T19:28:20Z)
• PRISM: Festina Lente Proactivity -- Risk-Sensitive, Uncertainty-Aware Deliberation for Proactive Agents [11.440330367799513]
  PRISMは、決定論的ゲートとデュアルプロセス推論アーキテクチャを結合する新しいフレームワークである。 フェスティナ・レンテ(ラテン語: "make haste slow")にインスパイアされた私たちは、受け入れ校正されたコスト由来の閾値でゲートする。 ProactiveBenchでは、PRISMは誤報を22.78%減らし、F1を20.14%改善している。
  論文  参考訳（メタデータ） (2026-02-02T01:56:29Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Quantifying stability of non-power-seeking in artificial agents [0.2678472239880052]
  AIエージェントが1つの設定で安全であることが分かっている場合、最初の設定と同じような新しい設定でも安全かどうか、という疑問を調査する。 安全という概念は、電力を求めるエージェントが安全ではないことに基づいている。 安全が_not_stableであるような自然な場合があり、任意に小さな摂動は、決して停止しないポリシーをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-01-07T15:57:38Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。