論文の概要: Inverted Detection and Control in Steering Vectors

• arxiv url: http://arxiv.org/abs/2608.02957v1
• Date: Mon, 03 Aug 2026 23:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.964725
• Title: Inverted Detection and Control in Steering Vectors
• Title（参考訳）: ステアリングベクトルの逆検出と制御
• Abstract要約: 鍵となる仮定は、操舵ベクトル(SV)が概念に関して線形に判別可能であるということである。 本研究では,正の表現に一致した高度に差別的なSVが相反する振る舞いを一貫して促進できる逆検出制御現象を同定する。
• 参考スコア（独自算出の注目度）: 3.3552853945746572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering vectors (SVs) are widely used to influence the expression of concepts (e.g., truthfulness) in large language model outputs. A key assumption underpinning SVs is that they are linearly discriminative with respect to the concept: representations of texts that exhibit the concept are more aligned with the SV than those that do not, motivating shifts along the positive or negative SV direction to respectively promote or suppress the concept. In this work, we identify an inverted detection-control phenomenon in which some highly discriminative SVs that are aligned with positive representations can consistently promote the opposite behavior. We refer to such vectors as inverted-steering vectors (ISVs). We provide a geometric characterization of ISVs' effects, finding that steering along these directions systematically pushes representations in discriminative downstream heads as if the concept were absent, even prior to decoding. Motivated by this analysis, we propose an approach for distinguishing ISVs without requiring generation or associated response scoring. This enables targeted sign flips, which we use to improve a foundational detection-based steering pipeline via Inference Time Intervention (ITI). Our approach improves results in 27/30 experiments, ranging from +0.9% to +138%. We evaluate our findings on Gemma 3 12B, Qwen 2.5 14B, and Olmo 3 7B across 5 concepts.
• Abstract（参考訳）: ステアリングベクトル(SV)は、大きな言語モデル出力における概念(例えば、真実性)の表現に影響を与えるために広く使われている。 概念を表わすテキストの表現は、そうでないテキストよりもSVと一致しており、正または負のSV方向に沿ったシフトを動機付け、それぞれを促進または抑制する。 本研究では,正の表現に一致した高度に差別的なSVが相反する振る舞いを一貫して促進できる逆検出制御現象を同定する。 このようなベクトルを逆ステアリングベクトル(ISV)と呼ぶ。 我々はISVの効果を幾何学的に評価し、これらの方向に沿った操舵が、復号前の概念が欠如しているかのように、識別的下流頭部の表現を体系的にプッシュすることを発見した。 そこで本研究では,ISVの生成や応答スコアを必要とせず,ISVを識別する手法を提案する。 これにより、Inference Time Intervention (ITI)を介して、基本的な検出ベースのステアリングパイプラインを改善するために、ターゲットのサインフリップを可能にする。 提案手法は,+0.9%から+138%までの27/30実験の結果を改善した。 Gemma 3 12B, Qwen 2.5 14B, Olmo 3 7Bの5つの概念について検討した。

関連論文リスト

• A Shared Valence Axis Across Modern LLMs and Human EEG: The Saturation Regularity [45.39795199208249]
  大規模言語モデル(LLM)は、人間の認知と内部的特徴がますます一致している強力な表現学習者として登場した。 我々は、現代のLLMが人間の脳内の神経表現を理解するためのレンズとして機能するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-28T19:42:10Z)
• The Cylindrical Representation Hypothesis for Language Model Steering [57.97381760521523]
  中心軸は、概念の欠如と存在との主な違いを捉え、概念生成を駆動することを示す。 我々はこれを円筒表現仮説(CRH)として定式化する。 本実験は円筒構造の存在を検証し,CRHが実環境でのモデルステアリング動作の解釈に有効かつ実用的な方法であることを示した。
  論文  参考訳（メタデータ） (2026-05-03T12:26:13Z)
• Valence-Arousal Subspace in LLMs: Circular Emotion Geometry and Multi-Behavioral Control [25.46699328296852]
  感情ステアリングベクターを導出し、VA軸を上位PCA成分の線形結合として学習する。 VAサブスペースは、人間の感情知覚の確立したモデルと整合した円形の幾何学を示す。
  論文  参考訳（メタデータ） (2026-04-03T16:08:05Z)
• Taming SAM3 in the Wild: A Concept Bank for Open-Vocabulary Segmentation [57.427604620940734]
  TextscConceptBankは、視覚的証拠とプロンプトの整合性を取り戻すためのフレームワークだ。 我々のアプローチは、クラスワイドなビジュアルプロトタイプによるターゲットドメインの証拠をアンロックし、(textitii)マイニングの代表者はデータドリフト下でのアウトリーチを抑えることをサポートし、(textitiii)コンセプトドリフトの修正のために候補概念を融合させる。
  論文  参考訳（メタデータ） (2026-02-06T02:59:11Z)
• Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models [59.242742594156546]
  CoEvoは、テキストプロキシとビジュアルプロキシの両方を双方向でサンプル条件で適応するテストタイムフレームワークである。 CoEvoは最先端のパフォーマンスを実現し、AUROCを1.33%改善し、ImageNet-1KではFPR95を45.98%削減した。
  論文  参考訳（メタデータ） (2026-01-13T12:08:26Z)
• DISCO: Disentangled Communication Steering for Large Language Models [3.4065590965511436]
  本稿では,アテンションヘッド内のクエリおよび値表現空間に直接ステアリングベクトルを注入することを提案する。 本研究では,DISCOステアリング(disentangled Communication, Disentangled Communication,DISCO)と呼ばれる手法がアテンションヘッド出力に与える影響を解析的に評価する。
  論文  参考訳（メタデータ） (2025-09-20T21:56:03Z)
• Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering [41.588589098740755]
  線形概念ベクトルはLLMを効果的に操るが、既存の手法はステアリングの堅牢性を損なう多様なデータセットのノイズの多い特徴に悩まされる。 Sparse Autoencoder-Denoized Concept Vectors (SDCV) を提案する。
  論文  参考訳（メタデータ） (2025-05-21T02:45:11Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。