論文の概要: TAN-NTM: Topic Attention Networks for Neural Topic Modeling
- arxiv url: http://arxiv.org/abs/2012.01524v1
- Date: Wed, 2 Dec 2020 20:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 04:03:46.533586
- Title: TAN-NTM: Topic Attention Networks for Neural Topic Modeling
- Title（参考訳）: TAN-NTM:ニューラルトピックモデリングのためのトピック注意ネットワーク
- Authors: Madhur Panwar, Shashank Shailabh, Milan Aggarwal, Balaji Krishnamurthy
- Abstract要約: 本稿では,入力層におけるBoWの代わりに,文書をトークンのシーケンスとしてモデル化する新しいフレームワークであるTAN-NTMを提案する。
我々はLSTM出力に注意を払って、トピックに関連する手がかりを伝達する関連単語への参加をモデルに与える。
TAN-NTMは、NPMIコヒーレンスメトリックにおける既存のSOTAトピックモデルのスコアよりも9～15パーセント向上した最先端結果を達成する。
- 参考スコア（独自算出の注目度）: 8.631228373008478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models have been widely used to learn representations from text and
gain insight into document corpora. To perform topic discovery, existing neural
models use document bag-of-words (BoW) representation as input followed by
variational inference and learn topic-word distribution through reconstructing
BoW. Such methods have mainly focused on analysing the effect of enforcing
suitable priors on document distribution. However, little importance has been
given to encoding improved document features for capturing document semantics
better. In this work, we propose a novel framework: TAN-NTM which models
document as a sequence of tokens instead of BoW at the input layer and
processes it through an LSTM whose output is used to perform variational
inference followed by BoW decoding. We apply attention on LSTM outputs to
empower the model to attend on relevant words which convey topic related cues.
We hypothesise that attention can be performed effectively if done in a topic
guided manner and establish this empirically through ablations. We factor in
topic-word distribution to perform topic aware attention achieving
state-of-the-art results with ~9-15 percentage improvement over score of
existing SOTA topic models in NPMI coherence metric on four benchmark datasets
- 20NewsGroup, Yelp, AGNews, DBpedia. TAN-NTM also obtains better document
classification accuracy owing to learning improved document-topic features. We
qualitatively discuss that attention mechanism enables unsupervised discovery
of keywords. Motivated by this, we further show that our proposed framework
achieves state-of-the-art performance on topic aware supervised generation of
keyphrases on StackExchange and Weibo datasets.
- Abstract（参考訳）: トピックモデルはテキストから表現を学び、文書コーパスに対する洞察を得るために広く使われている。
トピック発見を行うために、既存のニューラルモデルでは、ドキュメント・バグ・オブ・ワード(bow)表現を入力として使用する。
このような手法は主に文書配布における適切な事前処理の効果の分析に重点を置いている。
しかし、文書のセマンティクスをよりよくキャプチャするための改良された文書機能のエンコーディングは、ほとんど重要ではない。
本稿では,入力層でBoWではなくトークンのシーケンスとして文書をモデル化し,その出力を用いて変動推論を行い,次にBoW復号を行うLSTMにより処理する,新しいフレームワークを提案する。
我々はLSTM出力に注意を払って、トピックに関連する手がかりを伝達する関連単語への参加をモデルに与える。
本研究は,話題を導いた場合の注意を効果的に行うことができ,アブレーションによって経験的に確立できると仮定する。
20NewsGroup, Yelp, AGNews, DBpediaの4つのベンチマークデータセット上で, NPMIコヒーレンス尺度における既存のSOTAトピックモデルのスコアよりも約9～15パーセント向上した。
TAN-NTMはまた、改善された文書トピックの特徴を学習することにより、より良い文書分類精度を得る。
注意機構がキーワードの教師なし発見を可能にすることを質的に議論する。
さらに,提案フレームワークにより,stackexchange と weibo データセット上でのトピック認識型キーフレーズ生成において,最先端のパフォーマンスを実現していることを示す。
関連論文リスト
- Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。
FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
論文 参考訳（メタデータ） (2024-07-09T14:35:49Z) - Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳（メタデータ） (2023-08-15T13:53:52Z) - CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural
Topic Modeling [23.323587005085564]
CWTM(Contextlized Word Topic Model)と呼ばれる新しいニューラルトピックモデルを導入する。
CWTMは、BERTからコンテキスト化された単語の埋め込みを統合する。
BOW情報なしで文書のトピックベクトルを学習することができる。
また、文脈化された単語の埋め込みに基づいて、文書内の個々の単語のトピックベクトルを導出することもできる。
論文 参考訳（メタデータ） (2023-05-16T10:07:33Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳（メタデータ） (2022-09-20T09:16:05Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳（メタデータ） (2022-02-09T17:26:08Z) - Keyword Assisted Embedded Topic Model [1.9000421840914223]
確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。
近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。
本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
論文 参考訳（メタデータ） (2021-11-22T07:27:17Z) - TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。
TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
論文 参考訳（メタデータ） (2021-10-27T09:07:14Z) - Neural Attention-Aware Hierarchical Topic Model [25.721713066830404]
文と文書語数を共同で再構成する変分自動エンコーダ(VAE)NTMモデルを提案する。
我々のモデルは、各文書の埋め込みを利用して文の正規化を行う階層的なKL分岐も特徴としている。
定量的および定性的な実験は,1) 文レベルと文書レベルの再現誤りを低減し,2) 実世界のデータセットからより一貫性のあるトピックを発見できる。
論文 参考訳（メタデータ） (2021-10-14T05:42:32Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2020-08-11T03:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。