論文の概要: Size Doesn't Matter: Cosine-Scored Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2606.15054v1
• Date: Sat, 13 Jun 2026 01:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.747746
• Title: Size Doesn't Matter: Cosine-Scored Sparse Autoencoders
• Title（参考訳）: サイズは重要ではない:コサイン付きスパースオートエンコーダ
• Authors: Silen Naihin, Lev Stambler,
• Abstract要約: BatchTopKの下では、ハイノームトークンはすべてのプレアクティベーションを同時に増加させ、コンテンツアライメントに関係なく辞書スロットを主張する。 スコアをコサイン類似度と入力等級の学習したブレンドに置き換え、どのぐらいのノルムを使うかを選ぶ。 どちらの体制においても、トレーニングは内部のプロダクトを復元する自由はあるが、半マグニチュード以上のものを選択する機能はない。
• 参考スコア（独自算出の注目度）: 0.07639235704257864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) detect features via inner product, so a feature's activation scales with both its directional alignment and the input's norm. Under BatchTopK, high-norm tokens inflate all pre-activations simultaneously, claiming dictionary slots regardless of content alignment. This matters because sublayer normalization has already discarded the magnitude the score measures, so the encoder detects a quantity the model does not read. We replace the score with a learned blend of cosine similarity and input magnitude, letting the optimizer choose how much norm to use; a per-feature extension lets each feature decide independently. In both regimes, training is free to recover inner product but never does, with no feature ever choosing more than half-magnitude dependence. At matched reconstruction, the cosine encoder learns features that align with human-recognizable concepts far more often than standard, filling dictionary slots that inner product wastes on norm detectors. Loss reweighting that equalizes gradients barely closes the gap, confirming forward-pass score geometry as the lever. The advantage is not universal across tasks or depths, but we believe cosine scoring should be the default for dictionary learning on normalized representations.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は内部積を介して特徴を検出するため、機能の活性化は方向のアライメントと入力のノルムの両方でスケールする。 BatchTopKの下では、ハイノームトークンはすべてのプレアクティベーションを同時に増加させ、コンテンツアライメントに関係なく辞書スロットを主張する。 これは、サブ層正規化が既にスコア測度を破棄しているため、エンコーダはモデルが読まない量を検出する。 私たちはスコアをコサイン類似度と入力等級の学習したブレンドに置き換え、最適化者がどれだけのノルムを使うかを選択できるようにします。 どちらの体制においても、トレーニングは内部のプロダクトを復元する自由はあるが、半マグニチュード以上のものを選択する機能はない。 一致する復元では、コサインエンコーダは人間の認識可能な概念を標準よりもはるかに頻繁に学習し、標準検出器に内在する製品の無駄を埋める辞書スロットを埋める。 勾配を等しくする損失再重み付けはギャップをほとんど閉じ、レバーとして前方通過スコア幾何を確認する。 利点はタスクや深さにまたがって普遍的ではないが、コサインスコアリングは正規化表現における辞書学習のデフォルトであるべきだと考えている。

関連論文リスト

• Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation [11.572612978535739]
  重ね合わせの下で、ニューラルネットワークの活性化は、概念を線形混合としてエンコードする。 この設定では、サンプルごとの反復推論を持つ古典的なスパース符号化法は圧縮された検知保証を利用する。 トレーニングセットのサイズ,潜伏次元,空間レベルの差が持続し,SAEが構成シフトで失敗することを示す。 以上の結果から,SAEの失敗は暗黙化の問題ではなく辞書学習の問題であり,拡張性のある辞書学習が重畳下でのスパース推論の鍵となる問題であることを示す。
  論文  参考訳（メタデータ） (2026-03-30T17:52:16Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Relevance Filtering for Embedding-based Retrieval [46.851594313019895]
  埋め込み型検索では、ANN(Approximate Nearest Neighbor)検索により、大規模データセットから類似したアイテムを効率的に検索することができる。 本稿では,この課題に対処するために,埋め込み型検索のための新しい関連フィルタリングコンポーネント("Cosine Adapter" と呼ぶ)を提案する。 少ないリコールの損失を犠牲にして、回収したセットの精度を大幅に向上することが可能です。
  論文  参考訳（メタデータ） (2024-08-09T06:21:20Z)
• SA-DVAE: Improving Zero-Shot Skeleton-Based Action Recognition by Disentangled Variational Autoencoders [7.618223798662929]
  本稿では,分散変分オートエンコーダを用いたSA-DVAE-セマンティックアライメントを提案する。 このアイデアは,一対のモダリティ特異的変分オートエンコーダと全補正ペナルティによって実現される。 実験の結果,SA-DAVEは既存手法よりも性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T12:35:46Z)
• Sparse Coding with Multi-Layer Decoders using Variance Regularization [19.8572592390623]
  本稿では,デコーダの正規化を必要とせずに,符号の崩壊を防止する新しいスパース符号化プロトコルを提案する。 本手法は,各潜時符号成分が一定の閾値を超える分散を有するように,直接正規化する。 分散正規化法を用いて訓練した多層デコーダを用いたスパースオートエンコーダは、スペーサー表現を用いた高品質な再構成を実現する。
  論文  参考訳（メタデータ） (2021-12-16T21:46:23Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for Improved Generalization [93.95299500688286]
  本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。 本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。 2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-06-29T17:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。