論文の概要: Are Sparse Autoencoder Benchmarks Reliable?

• arxiv url: http://arxiv.org/abs/2605.18229v1
• Date: Mon, 18 May 2026 11:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.490365
• Title: Are Sparse Autoencoder Benchmarks Reliable?
• Title（参考訳）: スパースオートエンコーダベンチマークは信頼性が高いか?
• Abstract要約: 我々は,SAEBenchのSAAE品質指標(デファクト標準SAE評価スイート)を監査する。 ターゲットプローブ摂動(Targeted Probe Perturbation)とスパーラス相関除去(Spurious correlation removal)という2つの指標が、標準設定で複数のレンズをフェールすることを発見した。 see-probesの$k$-sparse Probingの変種は私たちがテストした最も信頼できる指標ですが、see-probesでさえ同じSAEアーキテクチャの変種を分離するのに苦労しています。
• 参考スコア（独自算出の注目度）: 2.0789144738685956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are a core interpretability tool for large language models, and progress on SAE architectures depends on benchmarks that reliably distinguish better SAEs from worse ones. We audit the SAE quality metrics in SAEBench, the de-facto standard SAE evaluation suite, through three complementary lenses: reseed noise on a fixed SAE, ground-truth correlation on synthetic SAEs, and discriminability across training trajectories. We find that two of these metrics, Targeted Probe Perturbation (TPP) and Spurious Correlation Removal (SCR), fail multiple lenses at their canonical settings and should not be used to evaluate SAEs. The other metrics show higher reseed noise and lower discriminability than the field assumes. The sae-probes variant of $k$-sparse probing is the most reliable metric we tested, but even sae-probes struggles to separate variants of the same SAE architecture. Our results show the field needs better SAE benchmarks.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大規模言語モデルの中核的な解釈可能性ツールであり、SAEアーキテクチャの進歩は、より優れたSAEと悪いSAEを確実に区別するベンチマークに依存する。 我々は,SAAE評価スイートであるSAEBenchのSAAE品質指標を,固定されたSAEのリシードノイズ,合成SAEのグランドトルース相関,学習軌跡間の識別可能性の3つの相補レンズを用いて評価した。 これらの指標のうちの2つ、TPP(Targeted Probe Perturbation)とSCR(Spurious correlation removal)は、標準設定で複数のレンズをフェールさせ、SAEの評価には使用すべきでない。 その他の指標は、フィールドが想定するよりも高い再送ノイズと低い識別性を示している。 see-probesの$k$-sparse Probingの変種は私たちがテストした最も信頼できる指標ですが、see-probesでさえ同じSAEアーキテクチャの変種を分離するのに苦労しています。 我々の結果は、より優れたSAEベンチマークが必要であることを示している。

関連論文リスト

• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data [7.429838797007225]
  本稿では,現実的な特徴を持つ大規模合成データを生成するためのツールキットであるSynthSAEBenchを紹介する。 本ベンチマークでは,再現性指標と潜時品質指標との解離を含む,以前に観測されたLSM SAE現象を再現する。 マッチング・パースーツSAEは、重ね合わせノイズを利用して、地味な特徴を学習せずに再構築を改善する。
  論文  参考訳（メタデータ） (2026-02-16T12:22:00Z)
• Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines? [10.871959954490217]
  スパースオートエンコーダ(SAE)は、アクティベーションをスパースセットの人間解釈可能な特徴に分解することで、ニューラルネットワークを解釈するための有望なツールとして登場した。 最近の研究は複数のSAE変異体を導入し、フロンティアモデルへの拡張に成功した。 多くの興奮にもかかわらず、下流タスクにおけるネガティブな結果の増加は、SAEが有意義な特徴を回復するかどうかに疑問を投げかけている。
  論文  参考訳（メタデータ） (2026-02-15T11:53:55Z)
• Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders [63.544453925182005]
  3つの言語モデルで90のSAEをトレーニングし、解釈可能性と操舵性を評価します。 解析の結果,比較的弱い正の相関(tau b approx 0.298)しか示さず,解釈性は操舵性能の指標として不十分であることが示唆された。 本稿では,特徴量の増幅が次のトークン分布に与える影響を計測するデルタトークン信頼性(Delta Token Confidence)という新しい選択基準を提案する。
  論文  参考訳（メタデータ） (2025-10-04T04:14:50Z)
• SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
  話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-21T14:11:16Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Ensembling Sparse Autoencoders [10.81463830315253]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を人間の解釈可能な特徴に分解するために用いられる。 我々は,複数のSAEを包括的袋詰めとブースティングによりアンサンブルすることを提案する。 実験の結果,SAEのアンサンブルにより,言語モデルの活性化,特徴の多様性,SAEの安定性が向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T23:31:21Z)
• SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability [2.4557811577651436]
  SAEBenchは8つのメトリクスにわたるSAEパフォーマンスを測定する総合的な評価スイートである。 最近提案された8つのSAEアーキテクチャとトレーニングアルゴリズムをまたいだ200以上のSAEスイートをオープンソースにしています。 評価の結果,プロキシメトリクスのゲインは,実用的なパフォーマンスに確実に変換されないことがわかった。
  論文  参考訳（メタデータ） (2025-03-12T16:49:02Z)
• Are Sparse Autoencoders Useful? A Case Study in Sparse Probing [6.836374436707495]
  スパースオートエンコーダ(SAE)は、大言語モデル(LLM)アクティベーションで表される概念を解釈する一般的な方法である。 もう一つの証拠源は、SAEが既存のベースラインを超えて下流タスクのパフォーマンスを改善していることを示すことである。 SAEを4つの状況下でのLCM活性化の現実的なタスクに適用することで、これを検証する。
  論文  参考訳（メタデータ） (2025-02-23T18:54:15Z)
• AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders [73.37603699731329]
  ステアリングと概念検出のための大規模ベンチマークであるAxBenchを紹介する。 ステアリングでは、すべての既存のメソッドを高速に処理し、次いで微調整する。 概念検出では、差分のような表現に基づく手法が最善を尽くす。
  論文  参考訳（メタデータ） (2025-01-28T18:51:24Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。