論文の概要: Sparse Autoencoders are Topic Models

• arxiv url: http://arxiv.org/abs/2511.16309v1
• Date: Thu, 20 Nov 2025 12:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.618505
• Title: Sparse Autoencoders are Topic Models
• Title（参考訳）: スパースオートエンコーダはトピックモデルである
• Authors: Leander Girrbach, Zeynep Akata,
• Abstract要約: 本研究では,スパースオートエンコーダ(SAE)がトピックモデルとして自然に理解可能であることを示す。 我々は、SAEをトレーニングして再利用可能なトピック原子を学習するトピックモデリングフレームワークであるSAE-TMを紹介する。 木版印刷における画像データセットの主題構造と時間経過に伴うトピックの変化を解析した。
• 参考スコア（独自算出の注目度）: 47.62628339598771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) are used to analyze embeddings, but their role and practical value are debated. We propose a new perspective on SAEs by demonstrating that they can be naturally understood as topic models. We extend Latent Dirichlet Allocation to embedding spaces and derive the SAE objective as a maximum a posteriori estimator under this model. This view implies SAE features are thematic components rather than steerable directions. Based on this, we introduce SAE-TM, a topic modeling framework that: (1) trains an SAE to learn reusable topic atoms, (2) interprets them as word distributions on downstream data, and (3) merges them into any number of topics without retraining. SAE-TM yields more coherent topics than strong baselines on text and image datasets while maintaining diversity. Finally, we analyze thematic structure in image datasets and trace topic changes over time in Japanese woodblock prints. Our work positions SAEs as effective tools for large-scale thematic analysis across modalities. Code and data will be released upon publication.
• Abstract（参考訳）: 埋め込みの解析にはスパースオートエンコーダ(SAE)が使用されるが、それらの役割と実用的価値は議論されている。 トピックモデルとして自然に理解できることを実証し,SAEに関する新たな視点を提案する。 本研究では,埋め込み空間への遅延ディリクレ配置を拡張し,このモデルの下での最大後部推定器としてのSAE目標を導出する。 この見解は、SAEの機能は操舵可能な方向ではなく、テーマ的なコンポーネントであることを示している。 そこで本研究では,(1)再利用可能なトピック原子を学習するためにSAEをトレーニングし,(2)下流データ上の単語分布として解釈し,(3)再学習せずに任意のトピックにマージする,というトピックモデリングフレームワークであるSAE-TMを紹介する。 SAE-TMは、多様性を維持しながら、テキストや画像データセットの強いベースラインよりも一貫性のあるトピックを生成する。 最後に,日本の木版印刷物において,画像データセットの主題構造と時間経過に伴うトピックの変化を分析した。 我々の研究は、SAEをモダリティ全体にわたる大規模テーマ分析の効果的なツールとして位置づけている。 コードとデータは公開時に公開される。

関連論文リスト

• ProtSAE: Disentangling and Interpreting Protein Language Models via Semantically-Guided Sparse Autoencoders [30.219733023958188]
  Sparse Autoencoder (SAE) は、大規模言語モデルの機械的解釈可能性のための強力なツールとして登場した。 ProtSAEと呼ばれる意味誘導型SAEを提案する。 ProtSAEは,従来の方法と比較して,生物学的に関連性があり,隠れた特徴を解釈できることがわかった。
  論文  参考訳（メタデータ） (2025-08-26T11:20:31Z)
• Segment Any Vehicle: Semantic and Visual Context Driven SAM and A Benchmark [12.231630639022335]
  SAMベースのエンコーダデコーダ,車両部品知識グラフ,コンテキストサンプル検索符号化モジュールの3つのコアコンポーネントからなる新しいフレームワークであるSAVを提案する。 知識グラフは、構造オントロジーを通じて車両部品間の空間的および幾何学的関係を明示的にモデル化し、事前構造的知識を効果的に符号化する。 我々は,11,665の高品質なピクセルレベルのアノテーションを含む自動車部品セグメンテーションのための大規模ベンチマークデータセット,VabySeg10Kを紹介した。
  論文  参考訳（メタデータ） (2025-08-06T09:46:49Z)
• FaithfulSAE: Towards Capturing Faithful Features with Sparse Autoencoders without External Dataset Dependencies [3.709351921096894]
  本稿では,モデル自身の合成データセット上でSAEを学習するFithfulSAEを提案する。 より低OOD命令データセット上でのSAEのトレーニングにより,SAEの種子間安定性が向上することが実証された。
  論文  参考訳（メタデータ） (2025-06-21T10:18:25Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• Rank2Tell: A Multimodal Driving Dataset for Joint Importance Ranking and Reasoning [19.43430577960824]
  本稿では,重要度をランク付けするマルチモーダル・エゴ中心のデータセットである Rank2Tell を紹介し,その重要性の理由を述べる。 クローズドでオープンな様々な視覚的質問応答を用いて、複雑な交通シナリオにおいて、データセットは様々な重要なオブジェクトの様々な意味、空間的、時間的、関係的な属性の密接なアノテーションを提供する。
  論文  参考訳（メタデータ） (2023-09-12T20:51:07Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• FETA: Towards Specializing Foundation Models for Expert Task Applications [49.57393504125937]
  ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-09-08T08:47:57Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。