論文の概要: Supervised sparse auto-encoders as unconstrained feature models for semantic composition
- arxiv url: http://arxiv.org/abs/2602.00924v1
- Date: Sat, 31 Jan 2026 22:47:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.468284
- Title: Supervised sparse auto-encoders as unconstrained feature models for semantic composition
- Title（参考訳）: 意味合成のための制約のない特徴モデルとしてのスパースオートエンコーダ
- Authors: Ouns El Harzli, Hugo Wallner, Yoonsoo Nam, Haixuan Xavier Tao,
- Abstract要約: スパースオートエンコーダ (SAE) は機械的解釈可能性の顕著な方法として再登場している。
本稿では,制約のない特徴モデルを適応させることにより,これらの制約に対処する。
我々は、(デコーダのみ)SAEを監督し、スパースの概念埋め込みとデコーダ重みを共同で学習することで特徴ベクトルを再構築する。
- 参考スコア（独自算出の注目度）: 4.753990617760439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse auto-encoders (SAEs) have re-emerged as a prominent method for mechanistic interpretability, yet they face two significant challenges: the non-smoothness of the $L_1$ penalty, which hinders reconstruction and scalability, and a lack of alignment between learned features and human semantics. In this paper, we address these limitations by adapting unconstrained feature models-a mathematical framework from neural collapse theory-and by supervising the task. We supervise (decoder-only) SAEs to reconstruct feature vectors by jointly learning sparse concept embeddings and decoder weights. Validated on Stable Diffusion 3.5, our approach demonstrates compositional generalization, successfully reconstructing images with concept combinations unseen during training, and enabling feature-level intervention for semantic image editing without prompt modification.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、機械的解釈可能性の顕著な方法として再登場しているが、それらは2つの大きな課題に直面している。
本稿では,ニューラル崩壊理論の数学的枠組みである制約のない特徴モデルを適用することにより,これらの制約に対処し,タスクを監督する。
我々は、(デコーダのみ)SAEを監督し、スパースの概念埋め込みとデコーダ重みを共同で学習することで特徴ベクトルを再構築する。
安定拡散3.5(Stable Diffusion 3.5)で検証された本手法は,構成の一般化を実証し,訓練中に見つからない概念の組み合わせで画像の再構成を成功させ,迅速な修正を伴わずにセマンティック画像編集に特徴レベルの介入を可能にする。
関連論文リスト
- VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳（メタデータ） (2025-11-28T17:26:34Z) - Physically Interpretable Multi-Degradation Image Restoration via Deep Unfolding and Explainable Convolution [45.571542528079114]
本稿では,多段劣化画像復元のための新しい解釈可能性駆動手法を提案する。
改良された2階半平滑ニュートンアルゴリズムを用いて,各モジュールが明確な物理的解釈性を維持することを保証する。
解釈可能性と適応性をさらに向上するため,人間の脳の柔軟な情報処理に触発された説明可能な畳み込みモジュールを設計した。
論文 参考訳（メタデータ） (2025-11-13T10:27:41Z) - Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning [17.299267108673277]
ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。
本稿では,新しい教師なし学習手法である構造投影ヘビアン表現(SPHeRe)を紹介する。
実験結果から,SPHeReは教師なしシナプス可塑性アプローチにおいてSOTA性能を実現することが示された。
論文 参考訳（メタデータ） (2025-10-16T15:47:29Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - Self-Supervised Generative-Contrastive Learning of Multi-Modal Euclidean Input for 3D Shape Latent Representations: A Dynamic Switching Approach [53.376029341079054]
本稿では,3次元形状の潜在表現を学習するための,生成型とコントラスト型を組み合わせたニューラルアーキテクチャを提案する。
このアーキテクチャでは、2つのエンコーダブランチをボクセルグリッドと、同じ形状のマルチビューイメージに使用している。
論文 参考訳（メタデータ） (2023-01-11T18:14:24Z) - Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。
非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。
スパースCTでは数値的な結果が得られた。
論文 参考訳（メタデータ） (2020-04-20T18:43:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。