Fugu-MT 論文翻訳(概要): Inference and learning in sparse autoencoders as natural gradient flow

論文の概要: Inference and learning in sparse autoencoders as natural gradient flow

arxiv url: http://arxiv.org/abs/2610.07389v1
Date: Mon, 05 Oct 2026 21:03:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 02:58:29.662888
Title: Inference and learning in sparse autoencoders as natural gradient flow
Title（参考訳）: 自然勾配流としてのスパースオートエンコーダの推論と学習
Abstract要約: 我々はこのフレームワークを,クローズドフォーム推論と学習ダイナミクスを備えたエンコーダフリースパース符号化モデルであるBeFONDとしてインスタンス化する。合成データでは、BeFONDは辞書の回復と希少な検出を改善し、重ね合わせが増加するにつれて減退ベースラインよりも有利になる。その特徴は辞書の幅によって改善され続けているが、評価されたベースラインは主に高原である。
参考スコア（独自算出の注目度）: 17.915367505322145
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse autoencoders are widely used to uncover interpretable features in neural networks, yet reliable recovery remains difficult when features overlap or activate infrequently. These challenges involve both inferring which features explain an input and learning the dictionary that represents them. Here, we unify inference and dictionary learning as natural-gradient flows on a shared variational free energy. We instantiate this framework as BeFOND, an encoder-free sparse coding model with closed-form inference and learning dynamics. We show how recurrent explaining away reduces interference between overlapping features, while Fisher preconditioning can compensate for the slow learning of rare features. On synthetic data, BeFOND improves dictionary recovery and rare-feature detection, with a growing advantage over amortized baselines as superposition increases. On language-model activations, it improves single-feature concept detection and selective intervention, outperforming pretrained reference SAEs with substantially less training data. Its feature quality continues to improve with dictionary width, whereas the evaluated baselines largely plateau. Together, these results show how improving inference and learning within a unified probabilistic framework can make better use of data and dictionary capacity to interpret and intervene on neural representations.
Abstract（参考訳）: スパースオートエンコーダは、ニューラルネットワークの解釈可能な特徴を明らかにするために広く使用されているが、機能の重複やアクティベートが頻繁に行われる場合、信頼性の高いリカバリは難しいままである。これらの課題には、どの特徴が入力を説明するかの推論と、それらを表す辞書の学習の両方が含まれる。ここでは,共分散変動自由エネルギー上の自然勾配流れとして,推論と辞書学習を統一する。我々はこのフレームワークを,クローズドフォーム推論と学習ダイナミクスを備えたエンコーダフリースパース符号化モデルであるBeFONDとしてインスタンス化する。重なり合う特徴間の干渉をリカレントが減らせることを示す一方、フィッシャープレコンディショニングは稀な特徴のゆっくりとした学習を補うことができることを示す。合成データでは、BeFONDは辞書の回復と希少な検出を改善し、重ね合わせが増加するにつれて減退ベースラインよりも有利になる。言語モデルアクティベーションでは、単一機能の概念検出と選択的介入を改善し、トレーニングデータを大幅に少なくして事前訓練された参照SAEよりも優れた性能を発揮する。その特徴は辞書の幅によって改善され続けているが、評価されたベースラインは主に高原である。これらの結果は、統一確率的フレームワークにおける推論と学習の改善が、データと辞書の能力をよりよく活用して、神経表現を解釈し、介入することを示す。

関連論文リスト

Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
論文参考訳（メタデータ） (2026-05-29T13:39:09Z)
Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文参考訳（メタデータ） (2026-02-12T18:54:57Z)
Stochastic Forward-Forward Learning through Representational Dimensionality Compression [14.020257767487323]
本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元を用いた新しい良性関数次元圧縮を提案する。本研究は, より生物学的に検証可能な学習アルゴリズムの開発に寄与し, ニューロモルフィックコンピューティングに自然に適合することが示唆された。
論文参考訳（メタデータ） (2025-05-22T13:19:29Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文参考訳（メタデータ） (2023-01-02T06:16:56Z)
Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文参考訳（メタデータ） (2022-06-24T14:26:33Z)
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
論文参考訳（メタデータ） (2021-05-31T16:42:09Z)
Regularizing Explanations in Bayesian Convolutional Neural Networks [0.4538232180176148]
ベイズ推論に適合する新しい説明正規化法を提案する。提案手法は,モデルが刺激的特徴に過度に適合する場合や,どの特徴に着目すべきか不確実な場合,予測性能を向上させる。
論文参考訳（メタデータ） (2021-04-29T13:59:21Z)
Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文参考訳（メタデータ） (2020-10-10T14:04:44Z)
Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。