論文の概要: Binary Sparse Coding for Interpretability

• arxiv url: http://arxiv.org/abs/2509.25596v1
• Date: Mon, 29 Sep 2025 23:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.961541
• Title: Binary Sparse Coding for Interpretability
• Title（参考訳）: 解釈可能性のためのバイナリスパース符号化
• Authors: Lucia Quirke, Stepan Shabalin, Nora Belrose,
• Abstract要約: その結果,二項化は特徴の解釈可能性や単意味性を著しく向上させることがわかった。 また、二項化は解釈不能な超高周波数特徴の数を増大させる。
• 参考スコア（独自算出の注目度）: 3.850170128679739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are used to decompose neural network activations into sparsely activating features, but many SAE features are only interpretable at high activation strengths. To address this issue we propose to use binary sparse autoencoders (BAEs) and binary transcoders (BTCs), which constrain all activations to be zero or one. We find that binarisation significantly improves the interpretability and monosemanticity of the discovered features, while increasing reconstruction error. By eliminating the distinction between high and low activation strengths, we prevent uninterpretable information from being smuggled in through the continuous variation in feature activations. However, we also find that binarisation increases the number of uninterpretable ultra-high frequency features, and when interpretability scores are frequency-adjusted, the scores for continuous sparse coders are slightly better than those of binary ones. This suggests that polysemanticity may be an ineliminable property of neural activations.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、ニューラルネットワークのアクティベーションをスパース活性化特徴に分解するために使用されるが、多くのSAE特徴は高いアクティベーション強度でのみ解釈可能である。 この問題に対処するために、すべてのアクティベーションをゼロまたは1に制限するバイナリスパースオートエンコーダ(BAE)とバイナリトランスコーダ(BTC)を使用することを提案する。 その結果, 2項化は, 再構成誤差を増大させながら, 特徴の解釈可能性や単意味性を著しく向上させることがわかった。 高い活性化強度と低い活性化強度の区別をなくすことにより、機能活性化の連続的な変化を通じて、解釈不能な情報が密輸されるのを防ぐ。 しかし、二項化は解釈不能な超高頻度特徴の数を増やし、解釈可能性スコアが周波数調整された場合、連続スパースコーダのスコアは2進数よりもわずかに良い。 このことは、ポリセマンティティーが神経活性化の不可能な性質である可能性を示唆している。

関連論文リスト

• Binary Autoencoder for Mechanistic Interpretability of Large Language Models [8.725176890854065]
  隠れアクティベーションのミニバッチに最小エントロピーを強制する新しいバイナリオートエンコーダを提案する。 効率的なエントロピー計算のために、ステップ関数を介して隠れたアクティベーションを1ビットに識別する。 我々は、大規模言語モデルの推論力学を経験的に評価し、活用する。
  論文  参考訳（メタデータ） (2025-09-25T10:48:48Z)
• Designed Dithering Sign Activation for Binary Neural Networks [15.087814338685968]
  本研究は,複数の閾値をディザリングの原理に従って適用し,空間的に周期的なしきい値カーネルに従って各画素の符号活性化関数をシフトするアクティベーションを提案する。 分類タスクに関する実験は、計算コストを増大させることなく、バイナリニューラルネットワークの代替活性化として設計されたディザリングサイン活性化関数の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:27:39Z)
• BiPer: Binary Neural Networks using a Periodic Function [17.461853355858022]
  量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。 バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。 現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:52:17Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)
• BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations [16.92918746295432]
  本稿では,2つのバイナリアクティベーションを3次アクティベーションに結合するバイナリアクティベーションネットワークBinaryDuoを提案する。 実験結果から,BinaryDuoはパラメータと計算コストの同じベンチマークにおいて,最先端のBNNよりも優れていた。
  論文  参考訳（メタデータ） (2020-02-16T06:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。