論文の概要: Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs
- arxiv url: http://arxiv.org/abs/2410.11179v1
- Date: Tue, 15 Oct 2024 01:38:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:03:09.436763
- Title: Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs
- Title(参考訳): 圧縮としての解釈可能性:MDL-SAEを用いた神経活動のSAE説明の再考
- Authors: Kola Ayonrinde, Michael T. Pearce, Lee Sharkey,
- Abstract要約: 本稿では,SAEを損失圧縮アルゴリズムとして解釈するための情報理論フレームワークを提案する。
スパーシリティではなくMDLを使用することは、ポーシリティを過度に最大化する潜在的な落とし穴を避けることができると我々は主張する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Sparse Autoencoders (SAEs) have emerged as a useful tool for interpreting the internal representations of neural networks. However, naively optimising SAEs for reconstruction loss and sparsity results in a preference for SAEs that are extremely wide and sparse. We present an information-theoretic framework for interpreting SAEs as lossy compression algorithms for communicating explanations of neural activations. We appeal to the Minimal Description Length (MDL) principle to motivate explanations of activations which are both accurate and concise. We further argue that interpretable SAEs require an additional property, "independent additivity": features should be able to be understood separately. We demonstrate an example of applying our MDL-inspired framework by training SAEs on MNIST handwritten digits and find that SAE features representing significant line segments are optimal, as opposed to SAEs with features for memorised digits from the dataset or small digit fragments. We argue that using MDL rather than sparsity may avoid potential pitfalls with naively maximising sparsity such as undesirable feature splitting and that this framework naturally suggests new hierarchical SAE architectures which provide more concise explanations.
- Abstract(参考訳): スパースオートエンコーダ(SAE)は、ニューラルネットワークの内部表現を解釈するための有用なツールとして登場した。
しかし, 再建損失と疎度に対するSAEの経時的最適化は, 極端に広く, 疎度なSAEを優先する結果となった。
本稿では,神経活動の説明を伝達するための圧縮アルゴリズムとして,SAEを解釈するための情報理論フレームワークを提案する。
我々は、正確かつ簡潔なアクティベーションの説明を動機付けるために、最小記述長(MDL)の原則に訴える。
さらに、解釈可能なSAEは「独立な加法性」という追加的な性質を必要とする: 特徴は別々に理解できるべきである。
我々は,MNISTの手書き桁にSAEをトレーニングしてMDLにインスパイアされたフレームワークを適用する例を示し,データセットや小桁の断片を記憶したSAEとは対照的に,重要な行セグメントを表すSAE特徴が最適であることを示した。
スパーシリティではなくMDLを使用することは、望ましくない特徴分割などの空間性を大幅に最大化することで潜在的な落とし穴を回避できる可能性があり、このフレームワークは自然により簡潔な説明を提供する新しい階層型SAEアーキテクチャを示唆している、と我々は主張する。
関連論文リスト
- Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。
この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。
Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
論文 参考訳(メタデータ) (2024-06-25T17:43:13Z) - Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning [17.708350046115616]
シャープネス・アウェア最小化(SAM)は勾配降下(SGD)に代わる有望な代替手段として登場した。
SAM はこの効果を,学習機会の残余となる特徴を適応的に抑制することで実現していることを示す。
我々の洞察は、CelebA、Waterbirds、CIFAR-MNIST、DomainBedといった実データの実験によって裏付けられている。
論文 参考訳(メタデータ) (2024-05-30T19:32:56Z) - Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning [0.9374652839580183]
ニューラルネットワークによって学習された特徴を特定することは、機械的解釈可能性における中核的な課題である。
本稿では,SAEの学習方法であるエンドツーエンドのスパース辞書学習を提案する。
我々は,e2e SAE特徴と標準SAE特徴との幾何学的および定性的差異について検討する。
論文 参考訳(メタデータ) (2024-05-17T17:03:46Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳(メタデータ) (2024-05-12T22:18:25Z) - Improving Dictionary Learning with Gated Sparse Autoencoders [8.3037652157611]
Gated Sparse Autoencoder (Gated SAE)は、言語モデル(LM)アクティベーションにおける解釈可能な特徴を教師なしで発見する技術である。
SAEでは、スパーシリティを促進するために使われるL1ペナルティは、収縮のような望ましくないバイアスを多く導入する。
最大7BパラメータのLM上でSAEを訓練する際には、Gated SAEは収縮を解消し、同等の再現性を達成するのに半分の燃焼特性を必要とする。
論文 参考訳(メタデータ) (2024-04-24T17:47:22Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Identifying Interpretable Subspaces in Image Representations [54.821222487956355]
コントラスト概念(FALCON)を用いて画像表現の特徴を説明する枠組みを提案する。
ターゲット機能として、FALCONは、大きなキャプションデータセットとCLIPのようなトレーニング済みの視覚言語モデルを使用して、高機能なトリミング画像をキャプションする。
キャプション内の各単語は、少数の共有された人間の理解可能な概念に導かれ、ランク付けされる。
論文 参考訳(メタデータ) (2023-07-20T00:02:24Z) - Learning Efficient Coding of Natural Images with Maximum Manifold
Capacity Representations [4.666056064419346]
効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。
エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。
ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
論文 参考訳(メタデータ) (2023-03-06T17:26:30Z) - Improving Self-Supervised Learning by Characterizing Idealized
Representations [155.1457170539049]
与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。
対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。
非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
論文 参考訳(メタデータ) (2022-09-13T18:01:03Z) - Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。
反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。
我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
論文 参考訳(メタデータ) (2021-10-28T16:12:33Z) - Discovering "Semantics" in Super-Resolution Networks [54.45509260681529]
超解像(SR)は低レベルの視覚領域の基本的で代表的な課題である。
一般に、SRネットワークから抽出された特徴は特定の意味情報を持たないと考えられている。
SRネットワークで「セマンティック」を見つけることはできますか?
論文 参考訳(メタデータ) (2021-08-01T09:12:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。