Fugu-MT 論文翻訳(概要): Enhancing SAE-based Steering via Neighbor Integrated Feature Selection

論文の概要: Enhancing SAE-based Steering via Neighbor Integrated Feature Selection

arxiv url: http://arxiv.org/abs/2608.28806v1
Date: Fri, 28 Aug 2026 19:18:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.753485
Title: Enhancing SAE-based Steering via Neighbor Integrated Feature Selection
Title（参考訳）: 隣り合う特徴選択によるSAEベースのステアリングの強化
Abstract要約: ほとんどのSAEベースのステアリング手法は、統計スコアに基づいてトップフィルタを適用して特徴を選択する。この仮定は、しばしば無効であり、最適でない特徴の選択につながることを示す。ステアリングにおける特徴選択を改善するために,textscNeighbor Integrated Feature Selection (textscNIFS)を提案する。
参考スコア（独自算出の注目度）: 31.036828083938868
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse autoencoders (SAEs) disentangle model activations into interpretable features and are widely used for steering large language models. Most existing SAE-based steering methods select features by applying a top- filter based on statistical scores, assuming that higher-scoring features yield stronger steering effects. In this paper, we show that this assumption is often invalid, leading to suboptimal feature selection. Our analysis reveals that effective steering features may be distributed among representationally adjacent, semantically similar groups induced by feature splitting in SAEs. Within such groups, features may exhibit disparate statistical scores despite having comparable steering influence, causing score-based selection to overlook important features. Based on these observations, we propose \textsc{Neighbor Integrated Feature Selection} (\textsc{NIFS}), a plug-and-play strategy that leverages representation similarity to improve feature selection for steering. We evaluate \textsc{NIFS} across multiple SAE-based steering methods and tasks, and demonstrate consistent performance gains over conventional top-$k$ selection.
Abstract（参考訳）: スパースオートエンコーダ(SAE)は、モデルアクティベーションを解釈可能な機能に分解し、大規模言語モデルのステアリングに広く利用されている。既存のSAEをベースとしたステアリング法では,高調波特性がより強いステアリング効果をもたらすと仮定して,統計スコアに基づいてトップフィルタを適用して特徴を選択する。本稿では,この仮定がしばしば無効であることを示す。本分析により,SAEの特徴分割によって引き起こされる意味的に類似したグループに,効果的なステアリング特性が分散されることが判明した。このようなグループ内では、同様のステアリングの影響があるにもかかわらず、特徴は異なる統計スコアを示し、スコアベースの選択は重要な特徴を見落としてしまう。これらの観測結果に基づいて,表現類似性を活用してステアリングにおける特徴選択を改善するプラグイン・アンド・プレイ戦略である \textsc{Neighbor Integrated Feature Selection} (\textsc{NIFS}) を提案する。我々は,複数のSAEベースのステアリング手法とタスクにまたがって \textsc{NIFS} を評価し,従来の上位k$選択よりも一貫した性能向上を示す。

関連論文リスト

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects [58.98080129016082]
Feature-Effect Geometry Analysis (FEGA)は、コンテキスト間で同じアクティブなSAE機能を削除した教師なしのフレームワークである。ステアリングの安定な方向を提供することなく,特徴を解釈し,因果的に関連付けることができることを示す。
論文参考訳（メタデータ） (2026-07-27T16:45:08Z)
Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
論文参考訳（メタデータ） (2026-05-12T10:01:06Z)
From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
論文参考訳（メタデータ） (2026-04-28T03:16:24Z)
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features [1.5874067490843806]
Control Reinforcement Learningは、各トークンでステアリングするためのSAE機能を選択するポリシーをトレーニングし、解釈可能な介入ログを生成する。 Adaptive Feature Maskingは、単一機能解釈性を維持しながら、多様な機能発見を促進する。 MMLU、BBQ、GSM8K、HarmBench、XSTestにわたるGemma 2Bでは、CRLは、トークン単位の介入ログを提供しながら改善されている。
論文参考訳（メタデータ） (2026-02-11T02:28:49Z)
TangledFeatures: Robust Feature Selection in Highly Correlated Spaces [0.0]
我々はTangledFeaturesを紹介した。TangledFeaturesは、相関した特徴空間における特徴選択のためのフレームワークである。絡み合った予測器のグループから代表的特徴を識別し、説明力を維持しながら冗長性を低下させる。選択された特徴は、背骨のねじれ角の変化を説明する構造的に意味のある原子内距離に対応している。
論文参考訳（メタデータ） (2025-10-16T05:54:04Z)
Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders [63.544453925182005]
3つの言語モデルで90のSAEをトレーニングし、解釈可能性と操舵性を評価します。解析の結果,比較的弱い正の相関(tau b approx 0.298)しか示さず,解釈性は操舵性能の指標として不十分であることが示唆された。本稿では,特徴量の増幅が次のトークン分布に与える影響を計測するデルタトークン信頼性(Delta Token Confidence)という新しい選択基準を提案する。
論文参考訳（メタデータ） (2025-10-04T04:14:50Z)
A Comparative Analysis of Sparse Autoencoder and Activation Difference in Language Model Steering [0.0]
我々は、冗長な特徴を排除し、単一の最も関連性の高いSAE潜伏者(top-1)に焦点を当てることを提案する。推論に関連付けられたSAE潜伏剤の操舵は、ステップバイステップの数学的推論を確実に引き起こすことを示す。その結果,SAEは数学推論ベンチマークにおいて平均アクティベーション差法より優れており,IF-Eval上での性能と一致していることがわかった。
論文参考訳（メタデータ） (2025-09-24T08:31:31Z)
Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
論文参考訳（メタデータ） (2025-08-03T23:48:46Z)
Optimised Feature Subset Selection via Simulated Annealing [39.58317527488534]
本稿では,$ell_0$-norm特徴選択のための新しいアルゴリズムであるSA-FDRを紹介する。 SA-FDRは、高い予測精度を達成しつつ、よりコンパクトな特徴部分集合を一貫して選択することを示す。その結果、SA-FDRは高次元設定で解釈可能なモデルを設計するための柔軟で効果的なソリューションを提供する。
論文参考訳（メタデータ） (2025-07-31T13:57:38Z)
SAEs Are Good for Steering -- If You Select the Right Features [45.47261543304217]
現在の方法では、それらを活性化する入力トークンを分析して、SAEの機能をステアに識別する。本研究では,主にモデル入力のパターンをキャプチャする入力特徴と,モデル出力に対する人間の理解可能な影響を持つ出力特徴の2つの特徴を区別する。
論文参考訳（メタデータ） (2025-05-26T14:47:59Z)
Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
論文参考訳（メタデータ） (2024-03-06T16:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。