論文の概要: Sparse Autoencoders, Again?

• arxiv url: http://arxiv.org/abs/2506.04859v1
• Date: Thu, 05 Jun 2025 10:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.660843
• Title: Sparse Autoencoders, Again?
• Title（参考訳）: スパースオートエンコーダ、また?
• Authors: Yin Lu, Tong He, Xuening Zhu, David Wipf,
• Abstract要約: 我々は、正準SAEと変分オートエンコーダの両方を用いて、未承認の弱点を定式化する。 提案したモデルの大域的ミニマは、多様体の和合にまたがるある種の構造化されたデータを復元する。 一般に、等価容量SAEとVAEの性能を超えることができる。
• 参考スコア（独自算出の注目度）: 15.48801130346124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is there really much more to say about sparse autoencoders (SAEs)? Autoencoders in general, and SAEs in particular, represent deep architectures that are capable of modeling low-dimensional latent structure in data. Such structure could reflect, among other things, correlation patterns in large language model activations, or complex natural image manifolds. And yet despite the wide-ranging applicability, there have been relatively few changes to SAEs beyond the original recipe from decades ago, namely, standard deep encoder/decoder layers trained with a classical/deterministic sparse regularizer applied within the latent space. One possible exception is the variational autoencoder (VAE), which adopts a stochastic encoder module capable of producing sparse representations when applied to manifold data. In this work we formalize underappreciated weaknesses with both canonical SAEs, as well as analogous VAEs applied to similar tasks, and propose a hybrid alternative model that circumvents these prior limitations. In terms of theoretical support, we prove that global minima of our proposed model recover certain forms of structured data spread across a union of manifolds. Meanwhile, empirical evaluations on synthetic and real-world datasets substantiate the efficacy of our approach in accurately estimating underlying manifold dimensions and producing sparser latent representations without compromising reconstruction error. In general, we are able to exceed the performance of equivalent-capacity SAEs and VAEs, as well as recent diffusion models where applicable, within domains such as images and language model activation patterns.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)について、もっと言いたいことはありますか? 一般にはオートエンコーダ、特にSAEは、データ内の低次元の潜在構造をモデル化できるディープアーキテクチャを表す。 このような構造は、大きな言語モデルのアクティベーションや複雑な自然像多様体における相関パターンを反映することができる。 しかし、適用範囲が広くなっているにもかかわらず、何十年も前のレシピ、すなわち古典的/決定論的スパース正規化器でトレーニングされた標準のディープエンコーダ/デコーダ層以外のSAEの変更は比較的少ない。 1つの例外は変分オートエンコーダ(VAE)であり、これは多様体データに適用した場合にスパース表現を生成できる確率エンコーダモジュールを採用する。 本研究では、共通なSAEと類似したタスクに適用されるVAEの双方で未承認の弱点を形式化し、これらの制約を回避するためのハイブリッドな代替モデルを提案する。 理論的支援の観点からは、提案したモデルの大域的最小値が、多様体の和合にまたがるある種の構造化されたデータを復元することを証明する。 一方, 合成および実世界のデータセットに対する実証評価は, 基礎となる多様体次元を正確に推定し, 再構成誤差を損なうことなくスペーサー潜在表現を生成する手法の有効性を裏付けるものである。 一般に、画像や言語モデルアクティベーションパターンなどの領域で適用可能な最近の拡散モデルと同様に、等価容量SAEやVAEの性能を超えることができる。

関連論文リスト

• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Learning Manifold Dimensions with Conditional Variational Autoencoders [22.539599695796014]
  可変オートエンコーダ(VAE)とその条件拡張(CVAE)は、複数の領域にわたる最先端の結果を出力することができる。 VAE大域ミニマは、正しい多様体次元を復元できることを示す。 次に、この結果をより一般的なCVAEに拡張し、実用的なシナリオを実証する。
  論文  参考訳（メタデータ） (2023-02-23T03:04:00Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders [16.27499951949733]
  生成写像が「強可逆(strongly invertible)」であれば、推論モデルはそれほど複雑ではないことを示す。 重要なのは、生成モデルが階層的に可逆である必要はないということです。 低次元多様体上にデータを置くと、深層生成モデルの学習が難しくなるという経験的知恵を理論的に支持する。
  論文  参考訳（メタデータ） (2021-07-09T19:53:29Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。