論文の概要: When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

• arxiv url: http://arxiv.org/abs/2607.08605v1
• Date: Thu, 09 Jul 2026 15:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.583008
• Title: When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities
• Title（参考訳）: 構造的スパースオートエンコーダがモーダリティ全体にわたる一貫性のある概念を学習する場合
• Abstract要約: 本稿では,視覚的モダリティにおける意味的,空間的両面から概念整合性を実現する構造化スパースオートエンコーダ(S2AE$)を提案する。 我々はトランスフォーマーの注意類似度と空間的近接度に基づいて画像パッチをグループ化し,バニラSAEを訓練する際,構造的空間正規化を導入する。 正規化は、グループ間概念の絡み合いのための排他的間隔とグループ間概念の整合性のためのグループ間隔から構成される。
• 参考スコア（独自算出の注目度）: 10.807285909852277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) have emerged as a promising technique for mechanistic interpretability by learning a set of sparse latent features in large models, each of which encodes a distinct concept. However, in vision-language models (VLMs), vanilla SAEs struggle to learn modality-consistent concepts, with concepts often exhibiting fragmented coverage (i.e., disjoint regions) in the visual modality. To address this challenge, we propose a Structured Sparse AutoEncoder ($S^2AE$) that enforces concept consistency from both semantic and spatial perspectives in the visual modality. Specifically, we group image patches based on Transformer attention similarity and spatial proximity, and introduce a structured sparsity regularization when training the vanilla SAE. The regularization consists of exclusive sparsity for inter-group concept disentanglement and group sparsity for intra-group concept consistency, which drives the latent neurons by SAEs to specialize in distinct, semantically grounded concepts. Evaluated on the \texttt{Qwen2.5-VL-7B-Instruct} model, the method achieves 6.06% average improvement in semantic alignment (mIoU) and 60.81 in representational efficiency (lower l0 norm) while maintaining near-perfect reconstruction fidelity with an Explained Variance above 99%. Cross-modal analysis further demonstrates that $S^2AE$ enhances neuronal monosemanticity by this visual structural prior, achieving a 3.08% average gain in semantic consistency and a 2.37% average gain in monosemanticity scores for both modalities of multimodal features, thereby fostering more coherent and disentangled representations.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は、大きなモデルにおけるスパース潜在特徴の集合を学習し、それぞれが異なる概念を符号化することで、機械論的解釈可能性のための有望な手法として登場した。 しかしながら、視覚言語モデル(VLM)では、バニラSAEはモダリティに一貫性のある概念を学ぶのに苦労する。 この課題に対処するために,視覚的モダリティにおける意味的,空間的両面から概念整合性を実現する構造化スパースオートエンコーダ(S^2AE$)を提案する。 具体的には、トランスフォーマーの注意類似度と空間的近接度に基づいて画像パッチをグループ化し、バニラSAEをトレーニングする際、構造的空間正規化を導入する。 正規化は、グループ間概念の絡み合いのための排他的間隔とグループ間概念の整合性のためのグループ間隔で構成され、SAEによって潜伏ニューロンを駆動し、異なる意味的基礎概念を専門化する。 この手法はtexttt{Qwen2.5-VL-7B-Instruct}モデルに基づいて評価され、表現効率(より低いl0ノルム)において平均6.06%のセマンティックアライメント(mIoU)と60.81の精度向上を実現し、また、説明変数99%以上でほぼ完全な再構成忠実性を維持した。 クロスモーダル分析により、$S^2AE$は、この視覚構造的先行によって神経細胞の単意味性を高め、セマンティック一貫性の3.08%の平均的な向上と、マルチモーダル特徴の両モダリティにおける単意味性スコアの2.37%の平均的な上昇を実現し、より一貫性のある表現と不整合表現の促進を図っている。

関連論文リスト

• Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders [11.191047696392026]
  視覚言語モデルは、画像とテキストを共同埋め込み空間にマッピングする。 これらの埋め込みは、しばしば複数の意味的特徴を絡み合わせ、解釈可能性と制御性を制限する。 モータリティ固有のスパースオートエンコーダを訓練し,各モータリティの特徴幾何を保存し,それに対応する特徴をホック後に整列させる手法を提案する。
  論文  参考訳（メタデータ） (2026-06-29T07:27:24Z)
• Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
  PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。 PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-26T08:31:06Z)
• SCoCCA: Multi-modal Sparse Concept Decomposition via Canonical Correlation Analysis [7.4746628878102195]
  CCA(Concept CCA)は,解釈可能な概念分解を実現しつつ,クロスモーダルな埋め込みを整列するフレームワークである。 我々はスパースの概念CCA(ScoCCA)を提案する。 提案手法は, 概念に基づくマルチモーダル埋め込みの説明を一般化し, 概念発見における最先端の性能向上を促進する。
  論文  参考訳（メタデータ） (2026-03-14T10:45:59Z)
• Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness [16.541207762213272]
  視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。 概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。 提案手法は,複数のViTモデル間のロバスト性を向上する。
  論文  参考訳（メタデータ） (2026-03-09T12:31:14Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
  本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。 SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-14T04:42:19Z)
• VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set [80.50996301430108]
  視覚言語表現のアライメントは、強いマルチモーダル推論能力を持つ現在のビジョン言語モデルを実現する。 視覚言語表現をその隠れアクティベーションにエンコードするスパースオートエンコーダVL-SAEを提案する。 解釈において、視覚と言語表現のアライメントは、意味論と概念を比較することで理解することができる。
  論文  参考訳（メタデータ） (2025-10-24T10:29:31Z)
• Analyzing Latent Concepts in Code Language Models [10.214183897113118]
  グローバルなポストホック解釈可能性フレームワークであるコード概念分析(CoCoA)を提案する。 CoCoAは、コード言語モデルの表現空間における創発的語彙、構文、意味構造を明らかにする。 本稿では,静的解析ツールをベースとした構文アライメントと,プロンプトエンジニアリングによる大規模言語モデルを組み合わせたハイブリッドアノテーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-01T03:53:21Z)
• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Interpreting the linear structure of vision-language model embedding spaces [12.846590038965774]
  我々は、4つの視覚言語モデルの埋め込み空間上でスパースオートエンコーダ(SAE)を訓練・リリースする。 学習方向の疎線形結合としてのSAEs近似モデル埋め込み、あるいは「概念」 異なる種や異なるデータダイエットでSAEをリトレーニングすることは、2つの発見につながる。SAEによって得られた稀で特異な概念は、劇的に変化するが、一般的に活性化される概念は、実行中に著しく安定していることも示している。
  論文  参考訳（メタデータ） (2025-04-16T01:40:06Z)
• LLM-based Hierarchical Concept Decomposition for Interpretable Fine-Grained Image Classification [5.8754760054410955]
  構造化概念解析によるモデル解釈可能性の向上を目的とした新しいフレームワークである textttHi-CoDecomposition を紹介する。 われわれのアプローチは、最先端のモデルの性能だけでなく、意思決定プロセスに対する明確な洞察を提供することで透明性を向上する。
  論文  参考訳（メタデータ） (2024-05-29T00:36:56Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。