論文の概要: Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2507.23220v1
- Date: Thu, 31 Jul 2025 03:17:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:09.02189
- Title: Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
- Title（参考訳）: 単語ではなくモデル方向:スパースオートエンコーダを用いたメカニスティックトピックモデル
- Authors: Carolina Zheng, Nicolas Beltran-Velez, Sweta Karlekar, Claudia Shi, Achille Nazaret, Asif Mallik, Amir Feder, David M. Blei,
- Abstract要約: メカニスティックトピックモデル(MTM)はスパースオートエンコーダ(SAE)が学習した解釈可能な特徴で動作する
MTMはトピックベースのステアリングベクトルを用いて制御可能なテキスト生成を可能にする。
LLMに基づくペアワイズ比較評価フレームワークであるtextittopic judgeを提案する。
- 参考スコア（独自算出の注目度）: 21.650904669171524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional topic models are effective at uncovering latent themes in large text collections. However, due to their reliance on bag-of-words representations, they struggle to capture semantically abstract features. While some neural variants use richer representations, they are similarly constrained by expressing topics as word lists, which limits their ability to articulate complex topics. We introduce Mechanistic Topic Models (MTMs), a class of topic models that operate on interpretable features learned by sparse autoencoders (SAEs). By defining topics over this semantically rich space, MTMs can reveal deeper conceptual themes with expressive feature descriptions. Moreover, uniquely among topic models, MTMs enable controllable text generation using topic-based steering vectors. To properly evaluate MTM topics against word-list-based approaches, we propose \textit{topic judge}, an LLM-based pairwise comparison evaluation framework. Across five datasets, MTMs match or exceed traditional and neural baselines on coherence metrics, are consistently preferred by topic judge, and enable effective steering of LLM outputs.
- Abstract（参考訳）: 伝統的なトピックモデルは、大きなテキストコレクションの潜在テーマを明らかにするのに効果的である。
しかし、バッグ・オブ・ワードの表現に依存しているため、意味論的に抽象的な特徴を捉えるのに苦労している。
一部のニューラル変種はよりリッチな表現を使用するが、それらも同様に、トピックを単語リストとして表現することで制約され、複雑なトピックを表現できる能力を制限する。
本稿では,スパースオートエンコーダ(SAE)で学習した特徴を解釈するトピックモデルのクラスであるメカニスティックトピックモデル(MTM)を紹介する。
この意味豊かな空間についてトピックを定義することで、MDMは表現的な特徴記述を伴うより深い概念的テーマを明らかにすることができる。
さらに、トピックモデルにおいて、MTMはトピックベースのステアリングベクトルを用いて制御可能なテキスト生成を可能にする。
LLMに基づくペアワイズ比較評価フレームワークであるtextit{topic judge}を提案する。
5つのデータセットにわたって、MTMはコヒーレンスメトリクスの伝統的なベースラインとニューラルベースラインに一致または超え、トピックジャッジによって一貫して好まれ、LLM出力の効果的なステアリングを可能にする。
関連論文リスト
- Neural Topic Modeling with Large Language Models in the Loop [12.142323482188056]
大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。
既存の多くのNTMに組み込む柔軟性により,学習トピックや文書表現におけるNTMの効率を保ちながら,トピックの解釈可能性を高めることができる。
論文 参考訳（メタデータ） (2024-11-13T11:31:02Z) - Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-11-04T06:07:53Z) - Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。
提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-04T01:28:56Z) - Interactive Topic Models with Optimal Transport [75.26555710661908]
ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。
EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
論文 参考訳（メタデータ） (2024-06-28T13:57:27Z) - A Large Language Model Guided Topic Refinement Mechanism for Short Text Modeling [10.589126787499973]
既存のトピックモデルは、しばしば短いテキストの根底にあるセマンティックなパターンを正確に捉えるのに苦労する。
本稿では,トピックリファインメント(Topic Refinement)と呼ばれる新しいモデル非依存機構を提案する。
トピックリファインメントによりトピックの品質が向上し、トピック関連テキスト分類タスクのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-03-26T13:50:34Z) - Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。
本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
論文 参考訳（メタデータ） (2024-03-24T17:39:51Z) - A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。
英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
論文 参考訳（メタデータ） (2024-03-05T13:55:16Z) - TopicGPT: A Prompt-based Topic Modeling Framework [77.72072691307811]
TopicGPTは,大規模言語モデルを用いてテキストコレクション内の潜在トピックを明らかにするプロンプトベースのフレームワークである。
競合する手法と比較して、人間の分類とよく一致したトピックを生成する。
そのトピックもまた解釈可能であり、自然言語ラベルと関連する自由形式の記述を含むトピックを好んで、曖昧な言葉の袋を除いた。
論文 参考訳（メタデータ） (2023-11-02T17:57:10Z) - FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。
事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。
本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。
我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。
異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
論文 参考訳（メタデータ） (2022-04-23T04:17:55Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳（メタデータ） (2022-02-09T17:26:08Z) - Keyword Assisted Embedded Topic Model [1.9000421840914223]
確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。
近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。
本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
論文 参考訳（メタデータ） (2021-11-22T07:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。