論文の概要: Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2411.13117v1
- Date: Wed, 20 Nov 2024 08:21:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:10:17.852664
- Title: Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダにおける計算最適推論と確率的補正ギャップ
- Authors: Charles O'Neill, David Klindt,
- Abstract要約: スパース符号化のレンズを用いて,SAEにおけるスパース推論と学習について検討した。
計算制限付きエンコーダを用いて,SAEがアモータイズされたスパース推論を行うことを示す。
より洗練されたスパース推論手法が従来のSAEエンコーダより優れている条件を実証的に探求する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: A recent line of work has shown promise in using sparse autoencoders (SAEs) to uncover interpretable features in neural network representations. However, the simple linear-nonlinear encoding mechanism in SAEs limits their ability to perform accurate sparse inference. In this paper, we investigate sparse inference and learning in SAEs through the lens of sparse coding. Specifically, we show that SAEs perform amortised sparse inference with a computationally restricted encoder and, using compressed sensing theory, we prove that this mapping is inherently insufficient for accurate sparse inference, even in solvable cases. Building on this theory, we empirically explore conditions where more sophisticated sparse inference methods outperform traditional SAE encoders. Our key contribution is the decoupling of the encoding and decoding processes, which allows for a comparison of various sparse encoding strategies. We evaluate these strategies on two dimensions: alignment with true underlying sparse features and correct inference of sparse codes, while also accounting for computational costs during training and inference. Our results reveal that substantial performance gains can be achieved with minimal increases in compute cost. We demonstrate that this generalises to SAEs applied to large language models (LLMs), where advanced encoders achieve similar interpretability. This work opens new avenues for understanding neural network representations and offers important implications for improving the tools we use to analyse the activations of large language models.
- Abstract（参考訳）: 最近の研究は、ニューラルネットワーク表現の解釈可能な特徴を明らかにするためにスパースオートエンコーダ(SAE)を使用することを約束している。
しかし、SAEの単純な線形非線形符号化機構は、正確なスパース推論を行う能力を制限する。
本稿では,スパース符号化のレンズを用いたSAEにおけるスパース推論と学習について検討する。
具体的には、SAEが計算的に制限されたエンコーダを用いて補正されたスパース推論を行い、圧縮されたセンシング理論を用いて、このマッピングが解決可能なケースにおいても、本質的には正確なスパース推論に不十分であることを証明した。
この理論に基づいて、より洗練されたスパース推論手法が従来のSAEエンコーダより優れている条件を実証的に探求する。
私たちの重要な貢献はエンコーディングとデコードプロセスの分離であり、様々なスパースエンコーディング戦略の比較を可能にします。
我々はこれらの戦略を,真のスパース特徴との整合性,スパース符号の正しい推論,トレーニングと推論における計算コストの考慮の2次元で評価する。
その結果,計算コストが最小限に抑えられることで,大幅な性能向上が達成できることが判明した。
このことは,大規模言語モデル (LLM) に適用されたSAEに一般化し,高度なエンコーダが同様の解釈可能性を実現することを実証する。
この研究は、ニューラルネットワーク表現を理解するための新しい道を開き、大きな言語モデルのアクティベーションを分析するために私たちが使っているツールを改善するために重要な意味を提供する。
関連論文リスト
- A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。
本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
論文 参考訳（メタデータ） (2024-10-30T01:53:04Z) - Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs [0.0]
本稿では,SAEを損失圧縮アルゴリズムとして解釈するための情報理論フレームワークを提案する。
スパーシリティではなくMDLを使用することは、ポーシリティを過度に最大化する潜在的な落とし穴を避けることができると我々は主張する。
論文 参考訳（メタデータ） (2024-10-15T01:38:03Z) - Sample what you cant compress [6.24979299238534]
拡散に基づく損失の下で、連続エンコーダとデコーダの学習方法を示す。
このアプローチは、GANベースのオートエンコーダと比較して、再構築品質が向上する。
また, 得られた表現は, 最先端のGANに基づく損失から得られた表現と比較して, 潜時拡散モデルによりモデル化し易いことを示す。
論文 参考訳（メタデータ） (2024-09-04T08:42:42Z) - Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。
投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文 参考訳（メタデータ） (2023-11-15T14:15:30Z) - Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。
RM符号は制限されたレートのみを許容する。
効率的なデコーダは、RM符号に対して有限長で利用可能である。
論文 参考訳（メタデータ） (2023-01-16T04:11:14Z) - Benign Autoencoders [0.0]
我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。
我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。
実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
論文 参考訳（メタデータ） (2022-10-02T21:36:27Z) - Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。
本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。
我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文 参考訳（メタデータ） (2021-12-21T19:14:44Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Variational Autoencoders: A Harmonic Perspective [79.49579654743341]
本研究では,高調波解析の観点から変分オートエンコーダ(VAE)について検討する。
VAEのエンコーダ分散は、VAEエンコーダとデコーダニューラルネットワークによってパラメータ化された関数の周波数内容を制御する。
論文 参考訳（メタデータ） (2021-05-31T10:39:25Z) - The Interpretable Dictionary in Sparse Coding [4.205692673448206]
我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。
スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
論文 参考訳（メタデータ） (2020-11-24T00:26:40Z) - A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。
結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。
新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
論文 参考訳（メタデータ） (2020-06-25T13:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。