論文の概要: Neural Topic Modeling with Bidirectional Adversarial Training
- arxiv url: http://arxiv.org/abs/2004.12331v1
- Date: Sun, 26 Apr 2020 09:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 13:08:26.704610
- Title: Neural Topic Modeling with Bidirectional Adversarial Training
- Title（参考訳）: 双方向学習を用いたニューラルトピックモデリング
- Authors: Rui Wang, Xuemeng Hu, Deyu Zhou, Yulan He, Yuxuan Xiong, Chenchen Ye,
Haiyang Xu
- Abstract要約: 本稿では,BATモデル(Bidirectional Adversarial Topic)と呼ばれるニューラルトピックモデリング手法を提案する。
BATは、文書トピック分布と文書ワード分布との間に双方向のプロジェクションを構築する。
単語関連性情報を組み込むため、ガウス語(ガウス語-BAT)を用いた双方向逆トピックモデルを拡張する。
- 参考スコア（独自算出の注目度）: 37.71988156164695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed a surge of interests of using neural topic models
for automatic topic extraction from text, since they avoid the complicated
mathematical derivations for model inference as in traditional topic models
such as Latent Dirichlet Allocation (LDA). However, these models either
typically assume improper prior (e.g. Gaussian or Logistic Normal) over latent
topic space or could not infer topic distribution for a given document. To
address these limitations, we propose a neural topic modeling approach, called
Bidirectional Adversarial Topic (BAT) model, which represents the first attempt
of applying bidirectional adversarial training for neural topic modeling. The
proposed BAT builds a two-way projection between the document-topic
distribution and the document-word distribution. It uses a generator to capture
the semantic patterns from texts and an encoder for topic inference.
Furthermore, to incorporate word relatedness information, the Bidirectional
Adversarial Topic model with Gaussian (Gaussian-BAT) is extended from BAT. To
verify the effectiveness of BAT and Gaussian-BAT, three benchmark corpora are
used in our experiments. The experimental results show that BAT and
Gaussian-BAT obtain more coherent topics, outperforming several competitive
baselines. Moreover, when performing text clustering based on the extracted
topics, our models outperform all the baselines, with more significant
improvements achieved by Gaussian-BAT where an increase of near 6\% is observed
in accuracy.
- Abstract（参考訳）: 近年、LDA(Latent Dirichlet Allocation)のような従来のトピックモデルのように、モデル推論の複雑な数学的導出を避けるため、テキストからの自動トピック抽出に神経トピックモデルを使用するという関心が高まっている。
しかしながら、これらのモデルは通常、潜在トピック空間上で不適切な事前(例えばガウス的あるいはロジスティック正規)を仮定するか、あるドキュメントのトピック分布を推測することができない。
これらの制限に対処するために,我々は,双方向敵トピック(bat)モデル(bidirectional adversarial topic model)と呼ばれるニューラルトピックモデリング手法を提案する。
提案したBATは,文書トピック分布と文書ワード分布との間に双方向のプロジェクションを構築する。
テキストから意味的パターンをキャプチャするジェネレータと、トピック推論のためのエンコーダを使用する。
さらに、単語関連情報を組み込むために、ガウス語(ガウス語-BAT)を用いた双方向逆トピックモデルをBATから拡張する。
BAT と Gaussian-BAT の有効性を検証するために,本実験では3つのベンチマークコーパスを用いた。
実験の結果, BAT と Gaussian-BAT はよりコヒーレントなトピックを得た。
さらに,抽出したトピックに基づいてテキストクラスタリングを行う場合,本モデルがベースラインを上回り,約6\%の精度で増加が観測されるガウス・バットにより,さらに大きな改善が得られた。
関連論文リスト
- Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。
本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。
提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
論文 参考訳（メタデータ） (2024-09-13T02:23:55Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳（メタデータ） (2023-10-25T17:59:12Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Neural Dynamic Focused Topic Model [2.9005223064604078]
ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。
本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
論文 参考訳（メタデータ） (2023-01-26T08:37:34Z) - A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。
LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-04-07T04:42:17Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳（メタデータ） (2020-10-05T22:49:16Z) - Neural Topic Modeling with Cycle-Consistent Adversarial Training [17.47328718035538]
本稿では, 周期整合適応訓練(ToMCAT)によるトピックモデリングとその教師付きバージョン sToMCAT を提案する。
ToMCATは、トピックを解釈するジェネレータネットワークと、ドキュメントトピックを推論するエンコーダネットワークを使用している。
SToMCATはトピックモデリングプロセスにドキュメントラベルを組み込むことでToMCATを拡張し、より一貫性のあるトピックの発見を支援する。
論文 参考訳（メタデータ） (2020-09-29T12:41:27Z) - Context Reinforced Neural Topic Modeling over Short Texts [15.487822291146689]
文脈強化ニューラルトピックモデル(CRNTM)を提案する。
CRNTMは各単語のトピックを狭い範囲で推測し、各短いテキストがわずかにまとまったトピックだけをカバーしていると仮定する。
2つのベンチマークデータセットの実験は、トピック発見とテキスト分類の両方において提案モデルの有効性を検証する。
論文 参考訳（メタデータ） (2020-08-11T06:41:53Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2020-08-11T03:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。