論文の概要: Neural Topic Modeling with Deep Mutual Information Estimation
- arxiv url: http://arxiv.org/abs/2203.06298v1
- Date: Sat, 12 Mar 2022 01:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-20 03:05:06.528805
- Title: Neural Topic Modeling with Deep Mutual Information Estimation
- Title（参考訳）: 深部相互情報推定を用いたニューラルトピックモデリング
- Authors: Kang Xu and Xiaoqiu Lu and Yuan-fang Li and Tongtong Wu and Guilin Qi
and Ning Ye and Dong Wang and Zheng Zhou
- Abstract要約: 本稿では,深い相互情報推定を取り入れたニューラルトピックモデルを提案する。
NTM-DMIEはトピック学習のためのニューラルネットワーク手法である。
我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
- 参考スコア（独自算出の注目度）: 23.474848535821994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emerging neural topic models make topic modeling more easily adaptable
and extendable in unsupervised text mining. However, the existing neural topic
models is difficult to retain representative information of the documents
within the learnt topic representation. In this paper, we propose a neural
topic model which incorporates deep mutual information estimation, i.e., Neural
Topic Modeling with Deep Mutual Information Estimation(NTM-DMIE). NTM-DMIE is a
neural network method for topic learning which maximizes the mutual information
between the input documents and their latent topic representation. To learn
robust topic representation, we incorporate the discriminator to discriminate
negative examples and positive examples via adversarial learning. Moreover, we
use both global and local mutual information to preserve the rich information
of the input documents in the topic representation. We evaluate NTM-DMIE on
several metrics, including accuracy of text clustering, with topic
representation, topic uniqueness and topic coherence. Compared to the existing
methods, the experimental results show that NTM-DMIE can outperform in all the
metrics on the four datasets.
- Abstract（参考訳）: 新たなニューラルトピックモデルは、教師なしテキストマイニングにおいてトピックモデリングをより容易に適応可能で拡張可能にする。
しかし、既存のニューラルトピックモデルでは、学習したトピック表現の中に文書の代表情報を保持することが困難である。
本稿では,深い相互情報推定,すなわち,深層相互情報推定を用いたニューラルトピックモデリング(NTM-DMIE)を組み込んだニューラルトピックモデルを提案する。
NTM-DMIEは、入力文書と潜在トピック表現の間の相互情報を最大化するトピック学習のためのニューラルネットワーク手法である。
強固な話題表現を学ぶために,我々は,否定的な例と否定的な例を,逆学習を通じて判別する判別器を組み込んだ。
さらに,グローバル情報とローカル情報の両方を用いて,トピック表現における入力文書の豊富な情報を保存する。
我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
既存の手法と比較すると,NTM-DMIEは4つのデータセットのすべての指標より優れていた。
関連論文リスト
- NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization [29.685615665355396]
本稿ではニューラルトピックモデルのためのNeuroMaxと呼ばれる新しいフレームワークを提案する。
NeuroMaxは、ニューラルトピックモデルにおけるエンコーダから得られたトピック表現と、PLMから派生した表現との相互情報を最大化する。
実験結果から、NeuroMaxは推論時間を短縮し、より一貫性のあるトピックやトピックグループを生成し、より代表的な文書埋め込みを生成することが示された。
論文 参考訳（メタデータ） (2024-09-29T15:59:36Z) - Improving the TENOR of Labeling: Re-evaluating Topic Models for Content
Analysis [5.757610495733924]
対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。
現在の自動メトリクスは、トピックモデリング機能の完全な図を提供していないことを示す。
論文 参考訳（メタデータ） (2024-01-29T17:54:04Z) - A Survey on Neural Topic Models: Methods, Applications, and Challenges [32.510888679613004]
トピックモデルは何十年にもわたって普及し、潜在トピックを発見し、教師なしの方法で文書のトピックの割合を推測している。
ニューラルネットワークの台頭は、新しい研究分野であるニューラルトピックモデル(NTM)の出現を促している。
本稿では,手法,応用,課題に関するニューラルトピックモデルに関する包括的調査を行う。
論文 参考訳（メタデータ） (2024-01-27T08:52:19Z) - Information Screening whilst Exploiting! Multimodal Relation Extraction
with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。
内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-19T14:56:57Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳（メタデータ） (2022-12-01T02:05:44Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳（メタデータ） (2022-09-20T09:16:05Z) - A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。
LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-04-07T04:42:17Z) - Inter-layer Information Similarity Assessment of Deep Neural Networks
Via Topological Similarity and Persistence Analysis of Data Neighbour
Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。
量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。
本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文 参考訳（メタデータ） (2020-12-07T15:34:58Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳（メタデータ） (2020-10-05T22:49:16Z) - Modeling Topical Relevance for Multi-Turn Dialogue Generation [61.87165077442267]
マルチターン対話におけるトピックドリフト問題に対処する新しいモデルSTAR-BTMを提案する。
バイラルトピックモデルは、トレーニングデータセット全体に基づいて事前トレーニングされ、各コンテキストのトピック表現に基づいてトピックレベルの注意重みが計算される。
中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMは最先端の手法を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-09-27T03:33:22Z) - Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。
Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
論文 参考訳（メタデータ） (2020-06-15T22:22:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。