論文の概要: Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2507.23220v1
• Date: Thu, 31 Jul 2025 03:17:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.02189
• Title: Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
• Title（参考訳）: 単語ではなくモデル方向:スパースオートエンコーダを用いたメカニスティックトピックモデル
• Authors: Carolina Zheng, Nicolas Beltran-Velez, Sweta Karlekar, Claudia Shi, Achille Nazaret, Asif Mallik, Amir Feder, David M. Blei,
• Abstract要約: メカニスティックトピックモデル(MTM)はスパースオートエンコーダ(SAE)が学習した解釈可能な特徴で動作する MTMはトピックベースのステアリングベクトルを用いて制御可能なテキスト生成を可能にする。 LLMに基づくペアワイズ比較評価フレームワークであるtextittopic judgeを提案する。
• 参考スコア（独自算出の注目度）: 21.650904669171524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional topic models are effective at uncovering latent themes in large text collections. However, due to their reliance on bag-of-words representations, they struggle to capture semantically abstract features. While some neural variants use richer representations, they are similarly constrained by expressing topics as word lists, which limits their ability to articulate complex topics. We introduce Mechanistic Topic Models (MTMs), a class of topic models that operate on interpretable features learned by sparse autoencoders (SAEs). By defining topics over this semantically rich space, MTMs can reveal deeper conceptual themes with expressive feature descriptions. Moreover, uniquely among topic models, MTMs enable controllable text generation using topic-based steering vectors. To properly evaluate MTM topics against word-list-based approaches, we propose \textit{topic judge}, an LLM-based pairwise comparison evaluation framework. Across five datasets, MTMs match or exceed traditional and neural baselines on coherence metrics, are consistently preferred by topic judge, and enable effective steering of LLM outputs.
• Abstract（参考訳）: 伝統的なトピックモデルは、大きなテキストコレクションの潜在テーマを明らかにするのに効果的である。 しかし、バッグ・オブ・ワードの表現に依存しているため、意味論的に抽象的な特徴を捉えるのに苦労している。 一部のニューラル変種はよりリッチな表現を使用するが、それらも同様に、トピックを単語リストとして表現することで制約され、複雑なトピックを表現できる能力を制限する。 本稿では,スパースオートエンコーダ(SAE)で学習した特徴を解釈するトピックモデルのクラスであるメカニスティックトピックモデル(MTM)を紹介する。 この意味豊かな空間についてトピックを定義することで、MDMは表現的な特徴記述を伴うより深い概念的テーマを明らかにすることができる。 さらに、トピックモデルにおいて、MTMはトピックベースのステアリングベクトルを用いて制御可能なテキスト生成を可能にする。 LLMに基づくペアワイズ比較評価フレームワークであるtextit{topic judge}を提案する。 5つのデータセットにわたって、MTMはコヒーレンスメトリクスの伝統的なベースラインとニューラルベースラインに一致または超え、トピックジャッジによって一貫して好まれ、LLM出力の効果的なステアリングを可能にする。

関連論文リスト

• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• A Large Language Model Guided Topic Refinement Mechanism for Short Text Modeling [10.589126787499973]
  既存のトピックモデルは、しばしば短いテキストの根底にあるセマンティックなパターンを正確に捉えるのに苦労する。 本稿では,トピックリファインメント(Topic Refinement)と呼ばれる新しいモデル非依存機構を提案する。 トピックリファインメントによりトピックの品質が向上し、トピック関連テキスト分類タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• TopicGPT: A Prompt-based Topic Modeling Framework [77.72072691307811]
  TopicGPTは,大規模言語モデルを用いてテキストコレクション内の潜在トピックを明らかにするプロンプトベースのフレームワークである。 競合する手法と比較して、人間の分類とよく一致したトピックを生成する。 そのトピックもまた解釈可能であり、自然言語ラベルと関連する自由形式の記述を含むトピックを好んで、曖昧な言葉の袋を除いた。
  論文  参考訳（メタデータ） (2023-11-02T17:57:10Z)
• Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
  タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。 我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。 異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
  論文  参考訳（メタデータ） (2022-04-23T04:17:55Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• Keyword Assisted Embedded Topic Model [1.9000421840914223]
  確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。 近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。 本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
  論文  参考訳（メタデータ） (2021-11-22T07:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。