論文の概要: Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

• arxiv url: http://arxiv.org/abs/2605.31183v1
• Date: Fri, 29 May 2026 11:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.578569
• Title: Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines
• Title（参考訳）: LLMのステアリング? 実はスパースオートエンコーダは単純なベースラインより優れている
• Abstract要約: この研究はスパース・オートエンコーダーに対する部分的な反論として機能し、Wu et al. (2025)の結果は彼らに完全な正義を与えなかったことを示唆している。 Sparse Autoencoders は AxBench ベンチマークの基準 LoRA 性能と同等に動作可能であることが判明した。 また、当社のパイプラインは、解釈可能性に基づくコンポーネントのみを使用する場合、識別されたラベルに驚くほど関連性のある機能を選択することもわかりました。
• 参考スコア（独自算出の注目度）: 3.652509571098291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Autoencoders (SAEs) have been seen as a promising avenue for exploring the internals of Large Language Models (LLMs) and for steering model output generation. When AxBench - a model steering benchmark - was introduced in Wu et al. (2025), SAEs did not seem to live up to their original hype due to poor steering performance relative to a set of simple baselines. This work serves as a partial rebuttal for Sparse Autoencoders and suggests that the results of Wu et al. (2025) did not do them full justice. We find that Sparse Autoencoders can, in fact, perform close to on par with the reference LoRA performance on the AxBench benchmark, when features are selected and labelled with our supervised pipeline. We also find that our pipeline selects features that are surprisingly causal of their identified labels when using only its interpretability-based components. Lastly, we present evidence that high sparsity (low l0) may not be crucial for successful steering based on interpretability, which is in contrast to the earlier findings in Wang et al. (2025).
• Abstract（参考訳）: Sparse Autoencoders (SAE) は、LLM(Large Language Models)の内部とステアリングモデル出力生成のための、有望な道の1つと見なされている。 モデルステアリングのベンチマークであるAxBenchがWu et al(2025年)で導入されたとき、SAEは単純なベースラインのセットに比べてステアリングのパフォーマンスが低かったため、元々の誇大宣伝に勝てないように思われた。 この研究はスパース・オートエンコーダーに対する部分的な反論として機能し、Wu et al (2025) の結果が彼らに完全な正義を与えていないことを示唆している。 実際、Sparse Autoencodersは、AxBenchベンチマークで参照されたLoRAのパフォーマンスと同等に動作することができる。 また、当社のパイプラインは、解釈可能性に基づくコンポーネントのみを使用する場合、識別されたラベルに驚くほど関連性のある機能を選択することもわかりました。 最後に, Wang et al (2025) の早期発見とは対照的に, 高間隔 (低l0) が解釈可能性に基づくステアリングの成功に不可欠でないことを示す。

関連論文リスト

• Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders [63.544453925182005]
  3つの言語モデルで90のSAEをトレーニングし、解釈可能性と操舵性を評価します。 解析の結果,比較的弱い正の相関(tau b approx 0.298)しか示さず,解釈性は操舵性能の指標として不十分であることが示唆された。 本稿では,特徴量の増幅が次のトークン分布に与える影響を計測するデルタトークン信頼性(Delta Token Confidence)という新しい選択基準を提案する。
  論文  参考訳（メタデータ） (2025-10-04T04:14:50Z)
• Enhancing LLM Steering through Sparse Autoencoder-Based Vector Refinement [31.282134977964976]
  既存のステアリング手法は、行動情報を学習するために大規模なデータセットに依存している。 本稿では,SAAEを利用してステアリングベクトルを意味的に識別・拡張するスパースオートエンコーダ(SAE-RSV)によるステアリングベクトルの精細化について紹介する。 本フレームワークでは、まず、SAEが提供するセマンティクスに基づいてタスク関連機能を取り除き、そのセマンティクスの類似性を通じて、小さなデータセットから欠落したタスク関連機能を強化する。
  論文  参考訳（メタデータ） (2025-09-28T10:49:22Z)
• CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features [1.5874067490843806]
  提案するCorrSteerは,サンプルの正しさとSAEのアクティベーションを推論時に生成したトークンから関連付けて特徴を選択する。 我々の研究は、言語モデルアプリケーション間での自動SAEステアリングのための効果的でスケーラブルなアプローチとして相関ベースの選択を確立する。
  論文  参考訳（メタデータ） (2025-08-18T00:01:42Z)
• Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models [48.40096116617163]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)技術を用いて推論と数学的問題を解く能力を示す。 この研究はDeepSeek-R1の深い思考パラダイムにインスパイアされ、外部データセットを使わずにLCMの推論能力を高めるためにステアリング技術を利用している。
  論文  参考訳（メタデータ） (2025-05-21T15:17:59Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders [73.37603699731329]
  ステアリングと概念検出のための大規模ベンチマークであるAxBenchを紹介する。 ステアリングでは、すべての既存のメソッドを高速に処理し、次いで微調整する。 概念検出では、差分のような表現に基づく手法が最善を尽くす。
  論文  参考訳（メタデータ） (2025-01-28T18:51:24Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• ACCORD: Closing the Commonsense Measurability Gap [16.572584339052753]
  ACCORDは、大規模言語モデル(LLM)の共通理解基盤と推論能力の分離のためのフレームワークである 形式的要素をコモンセンス推論に導入し、典型的な 1 または 2 ホップを超えて、推論の複雑さを明示的に制御し、定量化する。 任意の推論複雑性のベンチマークを自動的に生成するので、将来のLLMの改善に合わせてスケールすることができる。
  論文  参考訳（メタデータ） (2024-06-04T22:08:24Z)
• Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline [95.88825497452716]
  歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。 GREWは、野生における歩行認識のための最初の大規模データセットである。 SPOSGaitはNASベースの最初の歩行認識モデルである。
  論文  参考訳（メタデータ） (2022-05-05T14:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。