論文の概要: Look Before You Steer: Geometry Predicts SAE Feature Steerability

• arxiv url: http://arxiv.org/abs/2609.22782v1
• Date: Sat, 19 Sep 2026 05:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.551705
• Title: Look Before You Steer: Geometry Predicts SAE Feature Steerability
• Title（参考訳）: GeometryがSAEの機能ステアビリティを予測
• Abstract要約: 我々は、SAE自体の特性が前方通過前に計算可能かどうかを問う。 SAE特性の変動はデコーダ空間幾何によって部分的に予測されることを示す。
• 参考スコア（独自算出の注目度）: 0.4416245639606376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Steering with SAE features requires per-feature coefficient tuning, which currently demands intervention sweeps. We ask whether properties of the SAE itself, computable before any forward pass, predict which features will be cheap or expensive to steer. We show that variation in SAE feature steerability is partially predicted by decoder-space geometry: neighbor density and maximum cosine similarity to nearby decoder directions, both computable from the SAE weight matrix before any intervention, rank features by how much steering they require for a fixed behavioral effect ($ρ$ up to $-0.546$, $p < 10^{-6}$, AUROC 0.610-0.822 across conditions; the signal is rank-based, consistent with grid discreteness). This geometry-steerability relationship replicates across two Gemma-2 model scales (2B and 9B), two SAE widths (16K and 65K), and is detectable cross-architecturally on Llama-3.1-8B-Instruct ($ρ= -0.266$, $n = 300$). On Qwen3-8B with BatchTopK SAEs, geometry predicts whether a feature is steerable at all but not the continuous ordering among responsive features, revealing a boundary condition tied to SAE training regime. The signal weakens at deep proportional layer depth in both models, where the cost of steering exceeds our intervention budget, a consistent depth boundary. These results provide preliminary evidence that pre-steering geometry can partially inform coefficient selection, offering a path toward screening features for controllability before deployment.
• Abstract（参考訳）: SAE機能をステアリングするには、機能単位の係数チューニングが必要で、現在介入スイープが要求されている。 我々は、SAE自体の特性が前方通過前に計算可能かどうかを問う。 近接密度と近傍デコーダ方向との最大コサイン類似性は、いかなる介入前でもSAE重み行列から計算可能であり、固定された挙動効果(ρ$ 以上$-0.546$, $p < 10^{-6}$, AUROC 0.610-0.822)の操舵量によってランク付けされる。 この幾何学とステアビリティの関係は、2つのGemma-2モデルスケール(2Bと9B)、2つのSAE幅(16Kと65K)で再現され、Llama-3.1-8B-Instruct(ρ=-0.266$, $n = 300$)上で相互構造的に検出できる。 Qwen3-8B with BatchTopK SAEsでは、幾何は、応答性のある特徴間の連続的な順序付けではなく、ある特徴が全く操縦可能かどうかを予測し、SAEトレーニング体制に結びついた境界条件を明らかにする。 信号は両モデルにおいて深い比例層深さで弱まり、ステアリングのコストは我々の介入予算を超え、一貫した深さ境界となる。 これらの結果から, プリステアリング幾何が部分的に係数選択を伝達し, 展開前の制御性向上のために, 特徴をスクリーニングする経路を提供するという予備的証拠が得られた。

関連論文リスト

• Steer the Sampling, Not the Kernel Grid: Geometry-Guided Sampling Operator for Volumetric Segmentation [9.411407984734854]
  畳み込みカーネルを変形させるのではなく,特徴をどこにサンプリングするかを制御できる幾何誘導型局所演算子を提案する。 各ボクセルでは、これらの方向に沿って対称にサンプルする、局所的な向きと有界なステップサイズを予測する。 ストライド1とストライド2を3D U-Netで置き換えると、BraTS、MSD肝血管、TDSC-ABUSが一貫した改善がなされる。
  論文  参考訳（メタデータ） (2026-08-26T14:01:36Z)
• When is Your LLM Steerable? [56.656180566692946]
  アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。 ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。 生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-10T02:55:34Z)
• Pre-Intervention Prediction of Sparse Autoencoder Steering Side Effects [0.16921396880325779]
  本研究では,SAEのステアリング側効果を,ステアリング前に計算した特徴統計から予測するためのプレインターベンションスクリーニングフレームワークを提案する。 操舵モジュール性, 効果安定性, 側方展開の2軸に沿ってサイドエフェクトを運用し, GPT-2-small, Pythia-70M-deduped, Gemma-2-2B, Llama-3.1-8Bを評価した。 シグナルは、GPT-2-small、Pythia-70M、Llama-3.1-8Bで最強であり、マグマ-2-2Bでは弱い。
  論文  参考訳（メタデータ） (2026-06-06T22:57:30Z)
• Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models [2.464003792743989]
  アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。 非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。 3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
  論文  参考訳（メタデータ） (2026-06-05T19:27:31Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability [0.0]
  表現の対距離構造の整合性である幾何学的安定性は、2つの関数に対処することを示す。 教師なしの安定性は、現実のタスクを操るために完全に失敗します。 ドリフト検出に優れ、トレーニング後のアライメントでCKAよりも2倍近い幾何変化を計測する。
  論文  参考訳（メタデータ） (2026-04-20T01:24:45Z)
• Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders [63.544453925182005]
  3つの言語モデルで90のSAEをトレーニングし、解釈可能性と操舵性を評価します。 解析の結果,比較的弱い正の相関(tau b approx 0.298)しか示さず,解釈性は操舵性能の指標として不十分であることが示唆された。 本稿では,特徴量の増幅が次のトークン分布に与える影響を計測するデルタトークン信頼性(Delta Token Confidence)という新しい選択基準を提案する。
  論文  参考訳（メタデータ） (2025-10-04T04:14:50Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• Robust Online Control with Model Misspecification [96.23493624553998]
  本研究では,未知の非線形力学系のモデル不特定性を考慮したオンライン制御について検討する。 本研究は, 線形近似からの偏差を許容できる程度に測定できるロバスト性に着目した。
  論文  参考訳（メタデータ） (2021-07-16T07:04:35Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。