論文の概要: Sparse Autoencoders, Again?

• arxiv url: http://arxiv.org/abs/2506.04859v1
• Date: Thu, 05 Jun 2025 10:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.660843
• Title: Sparse Autoencoders, Again?
• Title（参考訳）: スパースオートエンコーダ、また?
• Authors: Yin Lu, Tong He, Xuening Zhu, David Wipf,
• Abstract要約: 我々は、正準SAEと変分オートエンコーダの両方を用いて、未承認の弱点を定式化する。 提案したモデルの大域的ミニマは、多様体の和合にまたがるある種の構造化されたデータを復元する。 一般に、等価容量SAEとVAEの性能を超えることができる。
• 参考スコア（独自算出の注目度）: 15.48801130346124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is there really much more to say about sparse autoencoders (SAEs)? Autoencoders in general, and SAEs in particular, represent deep architectures that are capable of modeling low-dimensional latent structure in data. Such structure could reflect, among other things, correlation patterns in large language model activations, or complex natural image manifolds. And yet despite the wide-ranging applicability, there have been relatively few changes to SAEs beyond the original recipe from decades ago, namely, standard deep encoder/decoder layers trained with a classical/deterministic sparse regularizer applied within the latent space. One possible exception is the variational autoencoder (VAE), which adopts a stochastic encoder module capable of producing sparse representations when applied to manifold data. In this work we formalize underappreciated weaknesses with both canonical SAEs, as well as analogous VAEs applied to similar tasks, and propose a hybrid alternative model that circumvents these prior limitations. In terms of theoretical support, we prove that global minima of our proposed model recover certain forms of structured data spread across a union of manifolds. Meanwhile, empirical evaluations on synthetic and real-world datasets substantiate the efficacy of our approach in accurately estimating underlying manifold dimensions and producing sparser latent representations without compromising reconstruction error. In general, we are able to exceed the performance of equivalent-capacity SAEs and VAEs, as well as recent diffusion models where applicable, within domains such as images and language model activation patterns.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)について、もっと言いたいことはありますか? 一般にはオートエンコーダ、特にSAEは、データ内の低次元の潜在構造をモデル化できるディープアーキテクチャを表す。 このような構造は、大きな言語モデルのアクティベーションや複雑な自然像多様体における相関パターンを反映することができる。 しかし、適用範囲が広くなっているにもかかわらず、何十年も前のレシピ、すなわち古典的/決定論的スパース正規化器でトレーニングされた標準のディープエンコーダ/デコーダ層以外のSAEの変更は比較的少ない。 1つの例外は変分オートエンコーダ(VAE)であり、これは多様体データに適用した場合にスパース表現を生成できる確率エンコーダモジュールを採用する。 本研究では、共通なSAEと類似したタスクに適用されるVAEの双方で未承認の弱点を形式化し、これらの制約を回避するためのハイブリッドな代替モデルを提案する。 理論的支援の観点からは、提案したモデルの大域的最小値が、多様体の和合にまたがるある種の構造化されたデータを復元することを証明する。 一方, 合成および実世界のデータセットに対する実証評価は, 基礎となる多様体次元を正確に推定し, 再構成誤差を損なうことなくスペーサー潜在表現を生成する手法の有効性を裏付けるものである。 一般に、画像や言語モデルアクティベーションパターンなどの領域で適用可能な最近の拡散モデルと同様に、等価容量SAEやVAEの性能を超えることができる。

関連論文リスト

• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders [16.27499951949733]
  生成写像が「強可逆(strongly invertible)」であれば、推論モデルはそれほど複雑ではないことを示す。 重要なのは、生成モデルが階層的に可逆である必要はないということです。 低次元多様体上にデータを置くと、深層生成モデルの学習が難しくなるという経験的知恵を理論的に支持する。
  論文  参考訳（メタデータ） (2021-07-09T19:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。