論文の概要: Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2411.13117v2
• Date: Thu, 30 Jan 2025 09:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:11:49.381084
• Title: Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダにおける計算最適推論と確率的補正ギャップ
• Authors: Charles O'Neill, Alim Gumran, David Klindt,
• Abstract要約: 最近の研究は、ニューラルネットワーク表現の解釈可能な特徴を明らかにするためにスパースオートエンコーダ(SAE)を使用することを約束している。 しかし、SAEの単純な線形非線形符号化機構は、正確なスパース推論を行う能力を制限する。 SAEエンコーダは, 解決可能な場合であっても, 精度の高いスパース推論には本質的に不十分であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A recent line of work has shown promise in using sparse autoencoders (SAEs) to uncover interpretable features in neural network representations. However, the simple linear-nonlinear encoding mechanism in SAEs limits their ability to perform accurate sparse inference. Using compressed sensing theory, we prove that an SAE encoder is inherently insufficient for accurate sparse inference, even in solvable cases. We then decouple encoding and decoding processes to empirically explore conditions where more sophisticated sparse inference methods outperform traditional SAE encoders. Our results reveal substantial performance gains with minimal compute increases in correct inference of sparse codes. We demonstrate this generalises to SAEs applied to large language models, where more expressive encoders achieve greater interpretability. This work opens new avenues for understanding neural network representations and analysing large language model activations.
• Abstract（参考訳）: 最近の研究は、ニューラルネットワーク表現の解釈可能な特徴を明らかにするためにスパースオートエンコーダ(SAE)を使用することを約束している。 しかし、SAEの単純な線形非線形符号化機構は、正確なスパース推論を行う能力を制限する。 本研究では, 圧縮センシング理論を用いて, SAEエンコーダは, 解決可能な場合においても, 正確なスパース推論には本質的に不十分であることを証明した。 次に、符号化処理と復号処理を分離して、より洗練されたスパース推論手法が従来のSAEエンコーダより優れている条件を経験的に探索する。 本結果から,スパース符号の正しい推測における計算量の増加が最小限に抑えられた場合,大幅な性能向上が得られた。 我々は、より表現力のあるエンコーダがより高い解釈可能性を実現するような、大規模言語モデルに適用されたSAEに対する一般化を実証する。 この研究は、ニューラルネットワーク表現を理解し、大きな言語モデルのアクティベーションを分析するための新しい道を開く。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs [0.0]
  本稿では,SAEを損失圧縮アルゴリズムとして解釈するための情報理論フレームワークを提案する。 スパーシリティではなくMDLを使用することは、ポーシリティを過度に最大化する潜在的な落とし穴を避けることができると我々は主張する。
  論文  参考訳（メタデータ） (2024-10-15T01:38:03Z)
• Sample what you cant compress [6.24979299238534]
  拡散に基づく損失の下で、連続エンコーダとデコーダの学習方法を示す。 このアプローチは、GANベースのオートエンコーダと比較して、再構築品質が向上する。 また, 得られた表現は, 最先端のGANに基づく損失から得られた表現と比較して, 潜時拡散モデルによりモデル化し易いことを示す。
  論文  参考訳（メタデータ） (2024-09-04T08:42:42Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Benign Autoencoders [0.0]
  我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。 我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。 実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
  論文  参考訳（メタデータ） (2022-10-02T21:36:27Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)
• Variational Autoencoders: A Harmonic Perspective [79.49579654743341]
  本研究では,高調波解析の観点から変分オートエンコーダ(VAE)について検討する。 VAEのエンコーダ分散は、VAEエンコーダとデコーダニューラルネットワークによってパラメータ化された関数の周波数内容を制御する。
  論文  参考訳（メタデータ） (2021-05-31T10:39:25Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。