論文の概要: Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning
- arxiv url: http://arxiv.org/abs/2405.12241v2
- Date: Fri, 24 May 2024 13:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 20:07:58.691843
- Title: Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning
- Title(参考訳): エンドツーエンドスパース辞書学習による機能的重要な特徴の同定
- Authors: Dan Braun, Jordan Taylor, Nicholas Goldowsky-Dill, Lee Sharkey,
- Abstract要約: ニューラルネットワークによって学習された特徴を特定することは、機械的解釈可能性における中核的な課題である。
本稿では,SAEの学習方法であるエンドツーエンドのスパース辞書学習を提案する。
我々は,e2e SAE特徴と標準SAE特徴との幾何学的および定性的差異について検討する。
- 参考スコア(独自算出の注目度): 0.9374652839580183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying the features learned by neural networks is a core challenge in mechanistic interpretability. Sparse autoencoders (SAEs), which learn a sparse, overcomplete dictionary that reconstructs a network's internal activations, have been used to identify these features. However, SAEs may learn more about the structure of the datatset than the computational structure of the network. There is therefore only indirect reason to believe that the directions found in these dictionaries are functionally important to the network. We propose end-to-end (e2e) sparse dictionary learning, a method for training SAEs that ensures the features learned are functionally important by minimizing the KL divergence between the output distributions of the original model and the model with SAE activations inserted. Compared to standard SAEs, e2e SAEs offer a Pareto improvement: They explain more network performance, require fewer total features, and require fewer simultaneously active features per datapoint, all with no cost to interpretability. We explore geometric and qualitative differences between e2e SAE features and standard SAE features. E2e dictionary learning brings us closer to methods that can explain network behavior concisely and accurately. We release our library for training e2e SAEs and reproducing our analysis at https://github.com/ApolloResearch/e2e_sae
- Abstract(参考訳): ニューラルネットワークによって学習された特徴を特定することは、機械的解釈可能性における中核的な課題である。
ネットワークの内部アクティベーションを再構築するスパースオートエンコーダ(SAE)は、これらの特徴を識別するために使用される。
しかし、SAEはネットワークの計算構造よりもデータセットの構造についてより深く学ぶことができる。
したがって、これらの辞書にある方向がネットワークにとって機能的に重要であると考えるのは間接的な理由のみである。
本研究では,SAE アクティベーションを挿入したモデルの出力分布とモデルとのKL ばらつきを最小限に抑えることで,学習する特徴が機能的に重要であることを保証し,SAE を訓練するエンド・ツー・エンド (e2e) スパース辞書学習を提案する。
標準的なSAEと比較して、e2e SAEはParetoの改善を提供する: ネットワーク性能の向上、機能全体の削減、データポイント当たりのアクティブ機能の同時実行の削減など。
我々は,e2e SAE特徴と標準SAE特徴との幾何学的および定性的差異について検討する。
E2e辞書学習は、ネットワークの振る舞いを簡潔かつ正確に説明できる手法に近づきます。
e2e SAEをトレーニングし、https://github.com/ApolloResearch/e2e_saeで分析を再現するためのライブラリをリリースします。
関連論文リスト
- Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control [43.860799289234755]
本稿では,特定のタスクの文脈における特徴辞書を評価するためのフレームワークを提案する。
まず,教師付き辞書は,タスクにおけるモデル計算の近似,制御,解釈性に優れることを示す。
GPT-2 Small を用いた間接オブジェクト識別(IOI)タスクに適用し,IOI や OpenWebText のデータセットで訓練したスパースオートエンコーダ (SAE) を用いた。
論文 参考訳(メタデータ) (2024-05-14T07:07:13Z) - Beyond Prototypes: Semantic Anchor Regularization for Better
Representation Learning [82.29761875805369]
表現学習の最終的な目標の1つは、クラス内のコンパクトさとクラス間の十分な分離性を達成することである。
本稿では,機能セントロイドとして機能する事前定義されたクラスアンカーを用いて,特徴学習を一方向ガイドする新しい視点を提案する。
提案したSemantic Anchor Regularization (SAR) は,既存モデルのプラグアンドプレイ方式で使用することができる。
論文 参考訳(メタデータ) (2023-12-19T05:52:38Z) - Learning Decoupling Features Through Orthogonality Regularization [55.79910376189138]
音声認識におけるキースポッティング(KWS)と話者検証(SV)は2つの重要なタスクである。
我々は,同じネットワーク構造を持つ2分岐のディープネットワーク(KWSブランチとSVブランチ)を開発する。
KWS と SV のパフォーマンスを同時に向上させるために,新しいデカップリング特徴学習法を提案する。
論文 参考訳(メタデータ) (2022-03-31T03:18:13Z) - Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。
隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文 参考訳(メタデータ) (2021-06-10T19:14:45Z) - Toward Understanding the Feature Learning Process of Self-supervised
Contrastive Learning [43.504548777955854]
本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。
textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
論文 参考訳(メタデータ) (2021-05-31T16:42:09Z) - An Explainable Machine Learning-based Network Intrusion Detection System
for Enabling Generalisability in Securing IoT Networks [0.0]
機械学習(ML)ベースのネットワーク侵入検知システムは、組織のセキュリティ姿勢を高める多くの利点をもたらす。
多くのシステムは研究コミュニティで設計・開発されており、特定のデータセットを用いて評価すると、しばしば完璧な検出率を達成する。
本稿では,異なるネットワーク環境と攻撃タイプに設定した共通機能の汎用性を評価することにより,ギャップを狭める。
論文 参考訳(メタデータ) (2021-04-15T00:44:45Z) - Decoupled and Memory-Reinforced Networks: Towards Effective Feature
Learning for One-Step Person Search [65.51181219410763]
歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。
現在のワンステップアプローチには2つの大きな課題があります。
本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
論文 参考訳(メタデータ) (2021-02-22T06:19:45Z) - PIN: A Novel Parallel Interactive Network for Spoken Language
Understanding [68.53121591998483]
既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。
SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。
さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
論文 参考訳(メタデータ) (2020-09-28T15:59:31Z) - SNoRe: Scalable Unsupervised Learning of Symbolic Node Representations [0.0]
提案したSNoReアルゴリズムは、個々のネットワークノードのシンボリックで人間の理解可能な表現を学習することができる。
SNoReの解釈可能な特徴は、個々の予測を直接説明するのに適している。
SNoReのベクトル化実装は大規模ネットワークにスケールし、現代のネットワーク学習および分析タスクに適している。
論文 参考訳(メタデータ) (2020-09-08T08:13:21Z) - Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。
本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
論文 参考訳(メタデータ) (2020-07-24T08:16:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。