論文の概要: Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation

• arxiv url: http://arxiv.org/abs/2603.28744v1
• Date: Mon, 30 Mar 2026 17:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.552249
• Title: Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
• Title（参考訳）: 証明をやめてコーディングを始める: なぜ線形プローブとスパースオートエンコーダは構成一般化に失敗したのか
• Authors: Vitória Barin Pacela, Shruti Joshi, Isabela Camacho, Simon Lacoste-Julien, David Klindt,
• Abstract要約: 重ね合わせの下で、ニューラルネットワークの活性化は、概念を線形混合としてエンコードする。 この設定では、サンプルごとの反復推論を持つ古典的なスパース符号化法は圧縮された検知保証を利用する。 トレーニングセットのサイズ,潜伏次元,空間レベルの差が持続し,SAEが構成シフトで失敗することを示す。 以上の結果から,SAEの失敗は暗黙化の問題ではなく辞書学習の問題であり,拡張性のある辞書学習が重畳下でのスパース推論の鍵となる問題であることを示す。
• 参考スコア（独自算出の注目度）: 11.572612978535739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The linear representation hypothesis states that neural network activations encode high-level concepts as linear mixtures. However, under superposition, this encoding is a projection from a higher-dimensional concept space into a lower-dimensional activation space, and a linear decision boundary in the concept space need not remain linear after projection. In this setting, classical sparse coding methods with per-sample iterative inference leverage compressed sensing guarantees to recover latent factors. Sparse autoencoders (SAEs), on the other hand, amortise sparse inference into a fixed encoder, introducing a systematic gap. We show this amortisation gap persists across training set sizes, latent dimensions, and sparsity levels, causing SAEs to fail under out-of-distribution (OOD) compositional shifts. Through controlled experiments that decompose the failure, we identify dictionary learning -- not the inference procedure -- as the binding constraint: SAE-learned dictionaries point in substantially wrong directions, and replacing the encoder with per-sample FISTA on the same dictionary does not close the gap. An oracle baseline proves the problem is solvable with a good dictionary at all scales tested. Our results reframe the SAE failure as a dictionary learning challenge, not an amortisation problem, and point to scalable dictionary learning as the key open problem for sparse inference under superposition.
• Abstract（参考訳）: 線形表現仮説は、ニューラルネットワークの活性化が線形混合として高レベルの概念を符号化していることを示している。 しかし、重ね合わせの下では、この符号化は高次元の概念空間から低次元の活性化空間への射影であり、概念空間における線形決定境界は射影後に線型のままである必要はない。 この設定では、サンプルごとの反復推論を持つ古典的なスパース符号化法は、圧縮された検知保証を利用して遅延因子を復元する。 一方、スパースオートエンコーダ(SAE)は、スパース推論を固定エンコーダに補正し、体系的なギャップを導入する。 本研究では, トレーニングセットのサイズ, 潜伏次元, 空間レベルの差が持続していることを示し, SAEは, アウト・オブ・ディストリビューション(OOD)構成シフトの下で失敗することを示した。 障害を分解する制御された実験を通して、辞書学習(推論手順ではなく)を結合制約として識別する: SAEで学習した辞書は、ほぼ間違った方向を指し、エンコーダを同じ辞書上のサンプルごとのFISTAに置き換えることは、ギャップを埋めるものではない。 オラクルのベースラインは、全ての尺度で優れた辞書でその問題が解けることを証明している。 以上の結果から,SAEの失敗は暗黙化の問題ではなく辞書学習の問題であり,拡張性のある辞書学習が重畳下でのスパース推論の鍵となる問題であることを示す。

関連論文リスト

• Trustworthy Koopman Operator Learning: Invariance Diagnostics and Error Bounds [5.209172085665478]
  本稿では,データ駆動型クープマン法における中心的検証問題に対処する。 クープマン近似が信頼できるときに証明するために、統一された後続法が開発される。 得られたツールボックスは、検証されたスペクトル分析、認定された予測、および原則付き辞書およびカーネル学習を可能にする。
  論文  参考訳（メタデータ） (2026-03-16T10:44:31Z)
• Beyond the Loss Curve: Scaling Laws, Active Learning, and the Limits of Learning from Exact Posteriors [8.410613979416203]
  実写画像で正確な後部を抽出可能なオラクルとして,クラス条件正規化フローを用いる。 我々のフレームワークは、標準メトリクスが進行中の学習を隠蔽し、アーキテクチャの違いを隠蔽し、分散シフトの性質を診断できないことを明らかにしている。
  論文  参考訳（メタデータ） (2026-01-30T21:08:55Z)
• Partial Feedback Online Learning [88.27143767009376]
  我々は、偏見フィードバックオンライン学習と呼ばれる新しい学習プロトコルについて研究する。 各インスタンスは許容できるラベルのセットを許可するが、学習者は1ラウンドごとに許容できるラベルを1つだけ観察する。
  論文  参考訳（メタデータ） (2026-01-29T09:39:11Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• A Lightweight Randomized Nonlinear Dictionary Learning Method using Random Vector Functional Link [0.6138671548064356]
  本稿では,ランダムベクトル関数リンク(RVFL)と呼ばれるランダム化関数リンクを用いて,非線形辞書を学習するためのSVDフリー軽量アプローチを提案する。 提案したRVFLに基づく非線形辞書学習(RVFLDL)は,非線形スパース係数から高密度入力特徴へのスパース・トゥ・デンス特徴写像として辞書を学習する。 画像分類および再構成アプリケーションで示される手法の実証的証拠は、RVFLDLはスケーラブルであり、他の非線形辞書学習法よりも優れた解を提供することを示している。
  論文  参考訳（メタデータ） (2024-02-06T09:24:53Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs [16.968490007064872]
  シーケンシャルデータに可変オートエンコーダ(VAE)を適用することで、シーケンス生成、操作、構造化表現学習を制御する方法が提供される。 理論的には、これは遅延空間を利用して補償されるデコーダ入力によって提供されるポイントワイドな相互情報を除去することを示す。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンス性能と潜時空間でキャプチャされた情報の両方を増大させる。
  論文  参考訳（メタデータ） (2022-09-26T11:21:19Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。