論文の概要: Scaling Laws for SAE Training Data

• arxiv url: http://arxiv.org/abs/2611.07756v1
• Date: Thu, 05 Nov 2026 10:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.648608
• Title: Scaling Laws for SAE Training Data
• Title（参考訳）: SAEトレーニングデータのスケーリング法則
• Abstract要約: アクティベーションストレージはスパースオートエンコーダ(SAE)トレーニングにおいてボトルネックとなることが多い。 総トレーニング予算が固定されたとき,SAEが必要とするユニークなアクティベーション数について検討する。 我々は、この多様性と反復のトレードオフを、限られたデータに対するスケーリング法則で記述する。
• 参考スコア（独自算出の注目度）: 9.038294514525852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation storage is often a bottleneck in sparse autoencoder (SAE) training. We study how many unique activations an SAE needs when its total training budget is fixed. Quality improves rapidly as the buffer grows, then reaches a plateau where replaying the buffer is nearly as effective as using fresh activations throughout training. Beyond this point, additional unique activations bring little benefit to reconstruction or interpretability, so the buffer need not grow with the training budget. We describe this tradeoff between diversity and repetition with a scaling law for limited data. We validate it across dictionary sizes and token budgets, early, middle, and late layers of Llama-3.1, Qwen3 model sizes, and BatchTopK, TopK, and JumpReLU SAEs. Sweeps using mathematical text and Python code test the effect of changing the activation source. Evaluation covers explained variance (EV), reconstruction MSE, feature absorption, automated interpretability, and sparse probing. These results give a practical training rule: choose the smallest buffer that reaches the quality plateau and replay it for the remaining budget. In our experiments, this reduces activation storage by $8\text{--}64\times$ with negligible quality loss.
• Abstract（参考訳）: アクティベーションストレージはスパースオートエンコーダ(SAE)トレーニングにおいてボトルネックとなることが多い。 総トレーニング予算が固定されたとき,SAEが必要とするユニークなアクティベーション数について検討する。 バッファが大きくなるにつれて、品質は急速に向上し、次に、バッファの再生がトレーニング全体を通じて新鮮なアクティベーションを使用するのと同じくらい効果的である台地に達する。 この点を超えると、追加のユニークなアクティベーションは再構築や解釈可能性にはほとんど利益をもたらしないので、トレーニング予算でバッファが成長する必要はない。 我々は、この多様性と反復のトレードオフを、限られたデータに対するスケーリング法則で記述する。 辞書サイズとトークン予算,Llama-3.1,Qwen3モデルサイズ,BatchTopK,TopK,JumpReLU SAEsの早期,中期,後期の各レイヤで検証する。 数学的テキストとPythonコードを使ったスイープは、アクティベーションソースを変更する効果をテストする。 評価対象は、説明分散(EV)、再構成MSE、特徴吸収、自動解釈可能性、スパース探索である。 これらの結果は、品質高原に達する最小のバッファを選択し、残りの予算のために再生するという、実践的なトレーニングルールを与えます。 我々の実験では、これはアクティベーションストレージを、無視できる品質損失を伴う$8\text{--}64\times$で削減する。

関連論文リスト

• CARES: Coverage-Aware Replay Exemplar Selection for Continual Learning [8.36088371152141]
  リプレイベースの連続学習は、過去のサンプルのバッファを保持することで忘れを省く。 最近のコアセットベースのリプレイ手法は、モデル由来の勾配、損失、補助最適化を用いてバッファ品質を改善する。 バッファ構築のための連続モデル最適化自由アプローチであるCARESを提案する。
  論文  参考訳（メタデータ） (2026-10-23T15:39:40Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Scalable LLM Math Reasoning Acceleration with Low-rank Distillation [57.922185576872444]
  資源効率の高い蒸留法を提案し, 効率的な推論手法の展開から損失能力を回収する。 もともとの重みは未成熟で、パラメータの約1%、合成トレーニングサンプルは20Kに過ぎなかった。
  論文  参考訳（メタデータ） (2025-05-08T17:51:24Z)
• Improvements of Dark Experience Replay and Reservoir Sampling towards Better Balance between Consolidation and Plasticity [6.20048328543366]
  継続的学習は、自律的なエージェントにとって最も重要な能力の1つである。 過去のアウトプットを保持する能力は、分布シフトやその他の影響によって過去のアウトプットが間違っていた場合の学習を阻害する。 本稿では,各DERとRSの改善戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-29T16:50:05Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• Jumping Ahead: Improving Reconstruction Fidelity with JumpReLU Sparse Autoencoders [4.4110204540437365]
  本研究では, Gemma 2 9Bアクティベーションにおいて, 所定の空間レベルにおいて, 最先端の再現忠実性を実現するJumpReLU SAEを紹介する。 この改善は、手動および自動解釈可能性研究による解釈可能性のコストを伴わないことを示す。
  論文  参考訳（メタデータ） (2024-07-19T16:07:19Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。