論文の概要: A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram
- arxiv url: http://arxiv.org/abs/2609.10299v1
- Date: Wed, 09 Sep 2026 15:13:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.076879
- Title: A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram
- Title（参考訳）: スパースオートエンコーダ相図における支配的拡散相
- Abstract要約: スパースオートエンコーダ(SAE)は、ニューラルネットワークのアクティベーションから解釈可能な特徴を回復するために、ますます使われるようになっている。
MAIS-O43開放問題では、真の合成辞書の回復が特徴付けの方法を与えるときに特徴付ける制御実験が提案されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoders (SAEs) are increasingly used to recover interpretable features from neural-network activations, yet systematic feature co-occurrence can cause distinct features to be absorbed or merged. The MAIS-O43 open problem proposes a controlled experiment to characterize when recovery of a true synthetic dictionary gives way to feature merging as the nesting fraction $γ$, sparsity penalty $λ$, and dictionary size $M$ vary. We implement the specified protocol and evaluate 200 independently initialized fits across ten of the 165 grid cells. We observe zero full-dictionary recoveries and zero merges. Instead, every run converges to a reproducible diffuse phase: reconstruction is nearly perfect, but learned atoms typically remain far from the true features (median best cosine 0.5-0.7 against a 0.95 recovery criterion) and learned codes are an order of magnitude denser than the ground truth. This behavior persists under robustness checks and across the full 165-cell grid using standard minibatch Adam (3,300 additional fits). Since the global optimum of the exact sparse-coding objective is known to merge nested features in the two-feature case, these results suggest that trained SAEs need not reach the corresponding minima, and that the phase diagram of trained models may differ fundamentally from that of objective minimizers.
- Abstract（参考訳）: スパースオートエンコーダ(SAEs)は、ニューラルネットワークのアクティベーションから解釈可能な特徴を回復するために使われることが多いが、体系的な特徴共起は、異なる特徴を吸収またはマージする可能性がある。
MAIS-O43のオープンな問題は、真の合成辞書の回復が、ネストする分数$γ$、スパーシティペナルティ$λ$、辞書サイズ$M$を特徴付ける方法を与えるときの制御実験を提案する。
特定プロトコルを実装し、165個のグリッドセルのうち10個に対して独立に200個の初期化適合性を評価する。
ゼロディクショナリー回復とゼロマージを観察する。
再構築はほぼ完璧であるが、学習された原子は真の特徴(現在の最高のコサイン0.5-0.7と0.95の回復基準)から遠く離れており、学習された符号は基底の真理よりも桁違いに密度が高い。
この動作はロバスト性チェックの下で継続し、標準のミニバッチAdam(3,300個追加のフィット)を使用して165セルグリッド全体にわたって継続する。
これらの結果は、訓練されたSAEが対応するミニマに到達する必要がなく、訓練されたモデルの位相図は、目的最小化器と根本的に異なる可能性があることを示唆している。
関連論文リスト
- A Closed-Form Formula for Consistent Lipschitz Regression on Metric Spaces with Sparse Neural Network Realizations [10.292476979020522]
未知のリプシッツ関数を再構成するための単純な閉形式2段式 $hatf$ を導入する。
我々の主な成果は、近似と統計的誤差を共同制御する高確率(Linfty$)回復保証である。
論文 参考訳（メタデータ） (2026-09-02T20:10:29Z) - Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression? [0.0]
我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。
制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。
これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
論文 参考訳（メタデータ） (2026-07-19T22:19:17Z) - SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。
我々は悲観的な収束分析を避ける分析を提供する。
我々の成果は、既存の最先端の体制を改善した。
論文 参考訳（メタデータ） (2026-06-14T14:11:07Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - Fundamental Limits of Neural Network Sparsification: Evidence from Catastrophic Interpretability Collapse [7.167095059974211]
本研究では, 可変オートエンコーダ-スパースオートエンコーダアーキテクチャにおける重大容量制約下での機能生存について検討する。
本稿では,活動ニューロンを500から50以上の訓練エポックに段階的に減少させる適応的空間性スケジューリングフレームワークを提案する。
グローバルな表現の質は安定しているが、局所的な特徴解釈可能性は体系的に崩壊する。
論文 参考訳（メタデータ） (2026-03-18T00:16:38Z) - Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。
バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。
全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
論文 参考訳（メタデータ） (2025-11-14T15:17:37Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳（メタデータ） (2021-07-07T11:43:59Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。