論文の概要: Readout Scaling Shapes Sparse Feature Recovery

• arxiv url: http://arxiv.org/abs/2610.18462v2
• Date: Wed, 14 Oct 2026 16:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.643345
• Title: Readout Scaling Shapes Sparse Feature Recovery
• Title（参考訳）: Readout Scaling Shapes Sparse Feature Recovery
• Abstract要約: 読み出しスケーリングはスパースオートエンコーダが学習するものを変えるが、それを削除するメリットはデータに依存する。 我々は、保持された決定情報を保持しながら特異値ゲインを除去するために、リードアウトカノニカル化決定空間座標を用いる。 ニューラルポリシーでは、RC-DSはテストされた予算の下で平均ロジット再構成を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Readout scaling changes what a sparse autoencoder (SAE) learns, but the benefit of removing it depends on the data. We use readout-canonicalized decision-space (RC-DS) coordinates to remove singular-value gains while preserving retained decision information. At a fixed readout condition number, changing the generating distribution reverses which training coordinates recover known factors best. In our controlled coordinate-matching study, recovery is highest when training restores the space in which the factors were generated. When factors are generated before readout scaling, RC-DS increases mean sparse-factor recovery from 0.506 to 0.913 at condition number 100, compared with centered-logit training under the same budget. An exact wrapper reproduces RC-DS training to numerical precision, isolating training geometry rather than additional information. In neural policies, RC-DS improves mean logit reconstruction under the tested budgets. On three fixed language-model checkpoints, RC-DS has higher mean gain-free reconstruction in all 18 tested task-sparsity settings, while centered-logit SAEs reconstruct output logits better in 17. Small-label-head controls show that longer training reduces the reconstruction gap from 0.0198 to 0.0016. Together, these results show how readout scaling, the data distribution, and training shape sparse learning. RC-DS provides an information-preserving method for studying and controlling the readout's contribution. Separate label-detection and steering tests distinguish these reconstruction effects from task-specific feature usefulness.
• Abstract（参考訳）: 読み出しスケーリングはスパースオートエンコーダ(SAE)が学習するものを変えるが、それを削除するメリットはデータに依存する。 我々は、保持された決定情報を保持しながら特異値ゲインを除去するために、読み出し正準化決定空間(RC-DS)座標を用いる。 固定読み出し条件番号では、生成分布を変更すると、既知の要因を最もよく回復する訓練座標が反転する。 制御された座標マッチング研究では、トレーニングが生成した空間を復元する際、回復が最も重要である。 読み出しスケーリング前に因子が生成されると、RC-DSは、同じ予算下で中心ログトレーニングと比較すると、条件番号100において、スパースファクタリカバリ平均0.506から0.913に増加する。 正確なラッパーはRC-DSトレーニングを数値精度に再現し、追加情報ではなくトレーニング幾何学を分離する。 ニューラルポリシーでは、RC-DSはテストされた予算の下で平均ロジット再構成を改善する。 3つの固定言語モデルチェックポイントにおいて、RC-DSは、テストされたタスクスパーシティ設定のすべてにおいて平均ゲインフリーな再構成を高くし、中央ログSAEは出力ロジットを17で再構築する。 小さいラベルヘッドコントロールでは、より長いトレーニングで再建のギャップが0.0198から0.0016に減少する。 これらの結果は、リードアウトスケーリング、データ分散、トレーニング形式のスパース学習の方法を示している。 RC-DSは、読み出しのコントリビューションを研究・制御するための情報保存方法を提供する。 異なるラベル検出およびステアリング試験は、これらの再構成効果とタスク固有の特徴の有用性を区別する。

関連論文リスト

• HiER-BLS: A Hierarchy-Guided and Error-Correcting Robust Incremental Broad Learning System [49.8459545291965]
  Broad Learning System (BLS) は分析学習と漸進的な拡張をサポートする。 階層化誘導型表現成長と誤り訂正学習を併用するHiER-BLSを提案する。
  論文  参考訳（メタデータ） (2026-10-05T05:37:40Z)
• LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models [0.5371337604556311]
  本稿では,メモリ・メディア・ラーニング・アーキテクチャにおける数値ポリシ・キャリアの入力側実現について述べる。 凍結したMiniCPM5-1B-SFT基板上で12,288個のトレーニング可能なパラメータを持つランク4入力残基について検討した。
  論文  参考訳（メタデータ） (2026-09-30T16:21:39Z)
• HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations [25.503211313768062]
  本稿では,特徴空間で直接拡張を行う二段階メタラーニング手法を提案する。 ピクセル空間ではなくバックボーン出力で操作することで、この手法は非常に効率的で安定であり、1つのGPUで数分のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2026-03-31T06:32:56Z)
• Learning to Detect Language Model Training Data via Active Reconstruction [65.4791582049743]
  textbfActive Data Reconstruction Attack (ADRA)を紹介する。 ADRAはトレーニングを通じて与えられたテキストを再構築するモデルを誘導する。 我々のアルゴリズムは、事前学習、後訓練、蒸留データの検出において、既存のMIAよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-22T03:20:06Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space [66.51378598755933]
  本研究では,学習継続過程における学習度を定量化し,制御する,回転制御アンラーニング(RCU)と呼ばれる新しい手法を提案する。 歪対称損失は、回転角の変化が連続的未学習過程をシミュレートできる認知回転空間の存在を構築するように設計されている。 複数のデータセットに対する実験により、保持されたデータセットを持たないメソッドがSOTA性能を達成することを確認した。
  論文  参考訳（メタデータ） (2025-09-30T03:59:29Z)
• REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [21.98964541770695]
  Exemplar-free Class-Incremental Learning (EFCIL) は、学級増進学習(CIL)における破滅的な忘れを、模範として利用可能な過去のトレーニングサンプルなしで軽減することを目的としている。 近年、ACL(Analytic Continual Learning)と呼ばれる新しいEFCILブランチが、勾配のないパラダイムを導入している。 本稿では,これらの問題に対処するための表現強化分析学習(REAL)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T11:48:10Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Reducing Predictive Feature Suppression in Resource-Constrained Contrastive Image-Caption Retrieval [65.33981533521207]
  我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD) LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。 実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
  論文  参考訳（メタデータ） (2022-04-28T09:55:28Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。