論文の概要: Toward Identifiable Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2605.31245v1
• Date: Fri, 29 May 2026 12:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.608393
• Title: Toward Identifiable Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダの同定に向けて
• Abstract要約: 理論上,スパースオートエンコーダ(SAE)は非常に不安定であることを示す。 実世界のSAEの安定性を損なうモデル特性を特徴付け,アーキテクチャやトレーニング手順の最小限の変更を通じて,これらの問題に対処する。 これらの変更により、bfidentible SAE (iSAE) の2つのバージョンが得られた。
• 参考スコア（独自算出の注目度）: 28.407017043742783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, sparse autoencoders (SAEs) have emerged as an attractive tool for interpreting and interacting with representations in practical neural networks. While it is common empirical folklore, we also show theoretically that SAEs are highly unstable: different training runs are likely to produce different concept dictionaries and sparse codes. We characterize the model properties that hinder the stability of real-world SAEs, and address each of these problems through minimal changes to the architecture and training procedure. Together, these changes yield two versions of an \textbf{i}dentifiable SAE (iSAE), a variant of the standard TopK SAE with lower reconstruction error and improved stability. We explain this improvement theoretically by connecting SAEs with traditional dictionary learning approaches, and show that the dictionaries learned in practice satisfy an approximate restricted isometry condition, rendering the corresponding sparse codes in those models near-identifiable.
• Abstract（参考訳）: 近年、スパースオートエンコーダ(SAE)が、実用的なニューラルネットワークにおける表現の解釈と相互作用のための魅力的なツールとして登場した。 実証的な民間伝承としては一般的なものであるが、理論上はSAEは非常に不安定であることを示しており、異なるトレーニング実行は異なる概念辞書やスパースコードを生成する可能性が高い。 実世界のSAEの安定性を損なうモデル特性を特徴付け,アーキテクチャやトレーニング手順の最小限の変更を通じて,これらの問題に対処する。 これらの変更により、標準的なTopK SAEの変種であるtextbf{i}dentible SAE (iSAE) の2つのバージョンが生成される。 本稿では,SAEを従来の辞書学習手法と結びつけて理論的に説明し,実際に学習した辞書が近似的に制限された等尺条件を満たすことを示し,それらのモデルのスパース符号をほぼ識別可能であることを示す。

関連論文リスト

• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• Aligned Training: A Parameter-Free Method to Improve Feature Quality and Stability of Sparse Autoencoders (SAE) [2.406359246841227]
  深層ニューラルネットワーク(DNN)の内部動作の解釈にスパースオートエンコーダ(SAE)を用いる SAEは、少数の機能がアクティベートされず不安定である重大な欠点を示す。 本研究では,SAEのパラメータフリー再パラメータ化手法であるtextbfaligned trainingを提案する。
  論文  参考訳（メタデータ） (2026-05-18T16:34:24Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Sparse Autoencoders, Again? [15.48801130346124]
  我々は、正準SAEと変分オートエンコーダの両方を用いて、未承認の弱点を定式化する。 提案したモデルの大域的ミニマは、多様体の和合にまたがるある種の構造化されたデータを復元する。 一般に、等価容量SAEとVAEの性能を超えることができる。
  論文  参考訳（メタデータ） (2025-06-05T10:26:06Z)
• Ensembling Sparse Autoencoders [10.81463830315253]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を人間の解釈可能な特徴に分解するために用いられる。 我々は,複数のSAEを包括的袋詰めとブースティングによりアンサンブルすることを提案する。 実験の結果,SAEのアンサンブルにより,言語モデルの活性化,特徴の多様性,SAEの安定性が向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T23:31:21Z)
• Tokenized SAEs: Disentangling SAE Reconstructions [0.9821874476902969]
  RES-JB SAEの特徴は, 単純な入力統計値に主に対応していることを示す。 特徴再構成からトークン再構成を分離する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-24T17:04:24Z)
• Archetypal SAE: Adaptive and Stable Dictionary Learning for Concept Extraction in Large Vision Models [16.894375498353092]
  スパースオートエンコーダ(SAE)は、機械学習の解釈可能性のための強力なフレームワークとして登場した。 既存のSAEは、類似したデータセットでトレーニングされた同一のモデルは、非常に異なる辞書を生成することができるため、深刻な不安定性を示す。 本稿では、辞書の原子を凸殻に拘束するArchitypal SAEについて述べる。
  論文  参考訳（メタデータ） (2025-02-18T14:29:11Z)
• Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders [0.0]
  最近の研究は、ニューラルネットワーク表現の解釈可能な特徴を明らかにするためにスパースオートエンコーダ(SAE)を使用することを約束している。 しかし、SAEの単純な線形非線形符号化機構は、正確なスパース推論を行う能力を制限する。 SAEエンコーダは, 解決可能な場合であっても, 精度の高いスパース推論には本質的に不十分であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:21:53Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。