論文の概要: Beyond SAEs: Consistent Concept Discovery with Sparse Coding

• arxiv url: http://arxiv.org/abs/2610.23801v1
• Date: Fri, 16 Oct 2026 17:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.037477
• Title: Beyond SAEs: Consistent Concept Discovery with Sparse Coding
• Title（参考訳）: SAEを超えて - スパースコーディングによるConsistent Concept Discovery
• Abstract要約: 一貫性スパース辞書学習(Consistent Sparse Dictionary Learning)は、標準線形エンコーダをサンプル単位スパース符号化に置き換える。 ConSDLは16の合成設定でほぼ完全な辞書と係数の回復を実現している。 これにより、4つのビジョンと言語設定をまたいだ最先端のクロスシード一貫性が実現される。
• 参考スコア（独自算出の注目度）: 54.60525564599342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) explain foundation model representations by decomposing activations into sparse combinations of learned dictionary atoms. However, the learned dictionaries can vary across training runs, limiting the reliability and reproducibility of SAE-based analyses. We propose Consistent Sparse Dictionary Learning (ConSDL), which replaces the standard linear encoder with per-sample sparse coding. This is motivated by our synthetic analysis showing that coefficients from a single linear encoder pass are suboptimal compared with those obtained by per-sample optimization, suggesting that sparse coding is a reliable mechanism for dictionary learning. Across 16 synthetic settings, ConSDL achieves near-perfect dictionary and coefficient recovery. These gains translate to state-of-the-art cross-seed consistency across four vision and language settings, where ConSDL improves dictionary and coefficient consistency by 17.6% and 35.9%, respectively, over the average of six SAE baselines.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、アクティベーションを学習した辞書原子のスパース結合に分解することで基礎モデル表現を説明する。 しかし、学習辞書はトレーニングラン毎に異なり、SAEベースの分析の信頼性と再現性が制限される。 本稿では,標準線形エンコーダをサンプルごとのスパース符号化に置き換えるConsistent Sparse Dictionary Learning (ConSDL)を提案する。 これは,1つの線形エンコーダパスから得られる係数が,サンプルごとの最適化によって得られた係数よりも最適であることを示し,スパース符号化が辞書学習の信頼性の高いメカニズムであることを示唆する。 16の合成設定で、ConSDLはほぼ完璧な辞書と係数の回復を達成する。 これらの利得は、4つのビジョンと言語設定における最先端のクロスシード一貫性に変換され、ConSDLは平均6つのSAEベースラインに対して辞書と係数の一貫性をそれぞれ17.6%、35.9%改善する。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Toward Identifiable Sparse Autoencoders [28.407017043742783]
  理論上,スパースオートエンコーダ(SAE)は非常に不安定であることを示す。 実世界のSAEの安定性を損なうモデル特性を特徴付け,アーキテクチャやトレーニング手順の最小限の変更を通じて,これらの問題に対処する。 これらの変更により、bfidentible SAE (iSAE) の2つのバージョンが得られた。
  論文  参考訳（メタデータ） (2026-05-29T12:44:45Z)
• Sparse Coding Representation of 2-way Data [7.849042669028769]
  2次元シナリオのための低ランク符号化モデルを提案し,そのデータについて検討する。 合成データセットと実世界のデータセットの両方において、データ再構成と値計算の欠如について、その品質を実証する。
  論文  参考訳（メタデータ） (2025-09-12T07:53:33Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval [15.665567982431924]
  本稿では,Dense Passage Retrieval(DPR)モデルに対する新しい解釈可能性フレームワークを提案する。 我々は,各潜伏概念の自然言語記述を生成し,DPRモデルの密埋め込みと問合せ文書類似度スコアの両方の人間の解釈を可能にする。 概念レベルスパース検索(CL-SR)は,語彙や意味的ミスマッチ間の堅牢な性能を維持しつつ,高いインデックス空間と計算効率を実現する。
  論文  参考訳（メタデータ） (2025-05-28T02:50:17Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Conditional Latent Coding with Learnable Synthesized Reference for Deep Image Compression [22.972154311937768]
  本稿では,外部辞書から動的参照を合成して,潜時領域における入力画像の条件付き符号化を行う方法について検討する。 各入力画像に対して、辞書から関連する特徴を選択して合成することで、条件付き潜伏語を合成することを学ぶ。 次に、合成潜水剤を用いて符号化プロセスを導出し、入力画像と参照辞書の相関をより効率的に利用できるようにする。
  論文  参考訳（メタデータ） (2025-02-14T07:56:21Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。