論文の概要: FASTopic: A Fast, Adaptive, Stable, and Transferable Topic Modeling Paradigm
- arxiv url: http://arxiv.org/abs/2405.17978v1
- Date: Tue, 28 May 2024 09:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 19:28:09.158685
- Title: FASTopic: A Fast, Adaptive, Stable, and Transferable Topic Modeling Paradigm
- Title(参考訳): FASTopic: 高速で適応的で、安定的で、転送可能なトピックモデリングパラダイム
- Authors: Xiaobao Wu, Thong Nguyen, Delvin Ce Zhang, William Yang Wang, Anh Tuan Luu,
- Abstract要約: 高速で適応的で、安定的で、転送可能なトピックモデルであるFASTopicを提案する。
また,新しいEmbedding Transport Plan (ETP) 手法を提案する。
- 参考スコア(独自算出の注目度): 76.509837704596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models have been evolving rapidly over the years, from conventional to recent neural models. However, existing topic models generally struggle with either effectiveness, efficiency, or stability, highly impeding their practical applications. In this paper, we propose FASTopic, a fast, adaptive, stable, and transferable topic model. FASTopic follows a new paradigm: Dual Semantic-relation Reconstruction (DSR). Instead of previous conventional, neural VAE-based or clustering-based methods, DSR discovers latent topics by reconstruction through modeling the semantic relations among document, topic, and word embeddings. This brings about a neat and efficient topic modeling framework. We further propose a novel Embedding Transport Plan (ETP) method. Rather than early straightforward approaches, ETP explicitly regularizes the semantic relations as optimal transport plans. This addresses the relation bias issue and thus leads to effective topic modeling. Extensive experiments on benchmark datasets demonstrate that our FASTopic shows superior effectiveness, efficiency, adaptivity, stability, and transferability, compared to state-of-the-art baselines across various scenarios. Our code is available at https://github.com/bobxwu/FASTopic .
- Abstract(参考訳): トピックモデルは、従来のニューラルネットワークモデルから最近のニューラルネットワークモデルまで、長年にわたって急速に進化してきた。
しかし、既存のトピックモデルは、一般的に有効性、効率性、安定性のいずれかに苦慮し、実践的な応用を非常に妨げている。
本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。
FASTopic は新たなパラダイムである Dual Semantic-Relation Reconstruction (DSR) に従う。
従来のVAEベースやクラスタリングベースの手法の代わりに、DSRは文書、トピック、単語の埋め込み間の意味関係をモデル化することで、再構築によって潜在トピックを発見する。
これにより、きれいで効率的なトピックモデリングフレームワークが生まれます。
さらに,新しいEmbedding Transport Plan (ETP) 手法を提案する。
初期の単純なアプローチではなく、ETPはセマンティックな関係を最適な輸送計画として明確に規則化している。
これは関係バイアスの問題に対処し、効果的なトピックモデリングにつながる。
ベンチマークデータセットの大規模な実験により、FASTopicは様々なシナリオにおける最先端のベースラインと比較して、優れた効率性、効率性、適応性、安定性、転送性を示します。
私たちのコードはhttps://github.com/bobxwu/FASTopic で利用可能です。
関連論文リスト
- Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings [10.095706051685665]
従来の統計モデル(LDAとNMF)とBERTモデルを用いたトピックモデルの比較を行った。
定量的メトリクスは統計モデルを好むが、定性的評価は神経モデルからより良い洞察を得る。
論文 参考訳(メタデータ) (2024-06-27T05:38:49Z) - Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。
このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。
実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文 参考訳(メタデータ) (2024-03-06T14:27:29Z) - Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。
提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
論文 参考訳(メタデータ) (2023-07-21T03:43:07Z) - Are Neural Topic Models Broken? [81.15470302729638]
トピックモデルの自動評価と人的評価の関係について検討する。
ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
論文 参考訳(メタデータ) (2022-10-28T14:38:50Z) - Recurrent Coupled Topic Modeling over Sequential Documents [33.35324412209806]
現在のトピックは、結合重みが対応するすべてのトピックから進化し、マルチトピック・スレッドの進化を形成することを示す。
進化するトピック間のマルチカップリングを解消する,新しいデータ拡張手法を用いた新しいソリューションを提案する。
後方フィルタアルゴリズムを備えた新しいギブスサンプリング器は、閉形式の潜時時間パラメータを効率的に学習する。
論文 参考訳(メタデータ) (2021-06-23T08:58:13Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳(メタデータ) (2020-10-05T22:49:16Z) - Neural Topic Model via Optimal Transport [24.15046280736009]
最適輸送理論(OT)を用いたニューラルトピックモデルを提案する。
具体的には、文書の単語分布に対するOT距離を直接最小化し、文書の話題分布を学習することを提案する。
提案手法は, 異なる損失を伴って効率的に学習することができる。
論文 参考訳(メタデータ) (2020-08-12T06:37:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。