論文の概要: Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility

• arxiv url: http://arxiv.org/abs/2610.20680v1
• Date: Wed, 14 Oct 2026 16:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.978845
• Title: Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
• Title（参考訳）: スパースオートエンコーダにおけるデータの復号化:機能的挙動は特徴再現性を保証しない
• Abstract要約: 3つの言語モデルで4つのSAEアーキテクチャをトレーニングすることで、SAEがどれだけのアクティベーションデータを必要とするかを調べる。 標準評価における機能的振る舞いと,学習した特徴の1対1という,収束の2つの概念を測る。
• 参考スコア（独自算出の注目度）: 34.402198246343836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study how much activation data SAEs need by training four SAE architectures on three language models with budgets ranging from 5M tokens to a 500M-token reference. We measure two notions of convergence: functional behavior on standard evaluations and one-to-one reproducibility of learned features. Functional data requirements are strongly metric-dependent: reconstruction often approaches the full-data reference at substantially smaller budgets, whereas feature reproducibility continues to improve with data. For Gemma-2-2B BatchTopK, the fraction of strictly matched features rises from 2\% at 5M tokens to 29\% at 50M. Data selection also matters: random sampling better preserves the original activation distribution and generally favors reconstruction, whereas diversity-based sampling frequently improves AutoInterp. A theoretical analysis separates statistical consistency of subsampled training from the stronger identifiability and optimization conditions required for one-to-one feature recovery. Our results show that SAE training can often be made far more data-efficient when budgets are matched to the goal, and feature-level claims are backed by explicit reproducibility checks, paving the way toward cheaper and more reliable SAE research.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は通常、数億から数十億のアクティベーショントークンでトレーニングされる。 5Mトークンから5Mトークン参照までの予算を持つ3つの言語モデルで4つのSAEアーキテクチャをトレーニングすることで、SAEがどれだけのアクティベーションデータを必要とするかを調べる。 標準評価における機能的振る舞いと,学習した特徴の1対1再現性という,収束の2つの概念を測る。 機能の再現性はデータによって改善され続けているが、リコンストラクションはしばしば、かなり小さな予算で完全なデータ参照にアプローチする。 Gemma-2B BatchTopKでは、厳密にマッチした機能の比率が5Mトークンで2\%から50Mで29\%に上昇する。 データ選択もまた重要である: ランダムサンプリングは元のアクティベーション分布をよりよく保存し、一般的に再構成を好むが、多様性に基づくサンプリングはAutoInterpを頻繁に改善する。 理論的解析により、サブサンプルトレーニングの統計的一貫性は、1対1の特徴回復に必要なより強い識別性と最適化条件から分離される。 以上の結果から,予算が目標と一致した場合,SAEトレーニングはよりデータ効率が良くなり,機能レベルのクレームは明示的な再現性チェックによって裏付けられ,より安価で信頼性の高いSAE研究への道が拓かれることが示唆された。

関連論文リスト

• From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
  Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。 我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
  論文  参考訳（メタデータ） (2026-04-28T03:16:24Z)
• To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining [24.61808957290675]
  本研究では,事前学習コーパスサイズと検索ストアサイズとのトレードオフを,広範囲のモデルとデータスケールで検討する。 モデルスケール全体にわたるパラメトリックのみのベースラインよりも,検索が一貫してパフォーマンスを向上させることが判明した。
  論文  参考訳（メタデータ） (2026-04-01T10:26:03Z)
• The GT-Score: A Robust Objective Function for Reducing Overfitting in Data-Driven Trading Strategies [51.56484100374058]
  GT-Scoreは、パフォーマンス、統計的重要性、一貫性、ダウンサイドリスクを統合する複合目的関数である。 GT-Scoreは、歩行前向きの検証において、ベースライン目的関数に対して、一般化比を98%改善する。 これらの結果から, 抗オーバーフィッティング構造を組み込むことにより, 定量的研究におけるバックテストの信頼性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2026-01-22T05:16:47Z)
• Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit [16.056849135589324]
  大規模テキストコーパスの分析は、機械学習における中核的な課題である。 スパースオートエンコーダ(SAE)を用いてSAE埋め込みを作成する。 SAE 埋込みは LLM よりもコスト効率が高く信頼性が高く,高密度埋込みよりも制御性が高いことを示す。
  論文  参考訳（メタデータ） (2025-12-10T21:26:24Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• CFReID: Continual Few-shot Person Re-Identification [127.60234742605832]
  Lifelong ReIDは、複数のドメインにまたがる知識を漸進的に学習し、蓄積するために提案されている。 LReIDモデルは、一般にプライバシとコストの懸念のためにアクセスできない、目に見えない各ドメインの大規模ラベル付きデータでトレーニングする必要がある。 本稿では,数ショットデータを用いてモデルをインクリメンタルにトレーニングし,すべてのドメインでテストするContinual Few-shot ReIDを提案する。
  論文  参考訳（メタデータ） (2025-03-24T09:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。