論文の概要: The Independence Prior of SAEs Fragments Visual Concepts

• arxiv url: http://arxiv.org/abs/2610.04112v1
• Date: Fri, 02 Oct 2026 22:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 20:08:53.94586
• Title: The Independence Prior of SAEs Fragments Visual Concepts
• Title（参考訳）: SAEsの独立は視覚的概念を断片化する
• Abstract要約: 空間SAEは、コンセプトリカバリと解釈可能性において標準SAEよりも一貫して優れている。 合成概念回復において平均96%の勝利率を達成し、DINOv2アクティベーションの解釈性を向上させる。
• 参考スコア（独自算出の注目度）: 40.054115316532986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Autoencoders (SAEs) decompose model activations into sparse combinations of interpretable dictionary atoms. Although SAEs are grounded in the Linear Representation Hypothesis (LRH), their objective smuggles in an additional prior: concepts across patches are treated as independent, an assumption clearly violated by natural images and by the activations they induce. We therefore specialize LRH to vision through the Markov-Field Linear Representation Hypothesis (MFLRH), which adds the missing spatial dependencies to the LRH assumptions. We thus propose Spatial-SAE as an amortized MAP estimator under the MFLRH. Spatial-SAE consistently outperforms standard SAEs in concept recovery and interpretability. Across four variants, it achieves a 96% average win rate on synthetic concept recovery and improves interpretability on DINOv2 activations, at a reconstruction cost concentrated in high spatial frequencies.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、モデル活性化を解釈可能な辞書原子のスパース結合に分解する。 SAEはLinear Representation hypothesis(LRH)に基礎を置いているが、それらの目的は、パッチ間の概念は独立して扱われる。 そこで我々は,MFLRH (Markov-Field Linear Representation hypothesis) を通じてLRHを視覚に特化させる。 そこで本研究では,MFLRHの下でのアモータイズされたMAP推定器として空間SAEを提案する。 空間SAEは、コンセプトリカバリと解釈可能性において標準SAEよりも一貫して優れている。 4つの変種で、合成概念回復における平均勝率96%を達成し、高空間周波数に集中した再構成コストでDINOv2活性化の解釈性を向上させる。

関連論文リスト

• Verifying the Linear Representation Hypothesis: How Interpretable Are Vision SAEs? [0.35776452910753404]
  Vision Sparse Autoencoders (SAEs) は、メカニスティック・インタプリタビリティ(Mechanistic Interpretability)において人気のあるツールとなっている。 標準メトリクスと適応型自己解釈可能性スコア(AIS)の両方を用いてSAE概念の質を評価する。 その結果,SAEの解釈可能性の指標は相互に相関せず,AISとも相関し,単一の基準自由度が視覚SAEの解釈可能性の検証に十分でないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-09-28T12:20:57Z)
• PhoenixSR: Generative Heterogeneous Distillation Unleashes Efficient Models for Real-World Super-Resolution [77.62046566633215]
  実世界の超解像(SR)は、複雑な低分解能観測から知覚的に現実的な高分解能像を復元する必要がある。 PhoenixSRは独立に設計されたフィードフォワードSRネットワークに拡散先行を転送する生成ヘテロジニアス蒸留フレームワークである。 3つのSRベンチマークと6つのフィードフォワードバックボーン(SwinIR、HAT、Real-ESRGAN、SeeeMoRe)の実験は、ほとんど保存された復元フィデリティと一貫した知覚的改善を示している。
  論文  参考訳（メタデータ） (2026-09-25T08:34:32Z)
• EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders [103.46709005379591]
  概念消去は、事前訓練されたモデルから不要なセマンティクスを取り除くことによって、原則化された救済を提供する。 既存のアプローチは一般に粗い品質で動作し、概念表現の微細で分散した性質と不一致である。 外科的概念の消去を実現するためにスパースオートエンコーダを利用する新しいフレームワークであるEraseSAEを提案する。
  論文  参考訳（メタデータ） (2026-09-03T10:23:37Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• Analysis of Variational Sparse Autoencoders [1.675385127117872]
  SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。 本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。 以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T23:09:56Z)
• Evaluating Sparse Autoencoders for Monosemantic Representation [10.22895453657019]
  大きな言語モデルを解釈する上で重要な障壁は多意味性である。 SAEは多意味性を低減し,高い概念分離性を実現する。
  論文  参考訳（メタデータ） (2025-08-20T22:08:01Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。