論文の概要: A Joint Learning Approach for Semi-supervised Neural Topic Modeling

• arxiv url: http://arxiv.org/abs/2204.03208v1
• Date: Thu, 7 Apr 2022 04:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 13:04:59.053443
• Title: A Joint Learning Approach for Semi-supervised Neural Topic Modeling
• Title（参考訳）: 半教師付きニューラルトピックモデリングのための共同学習手法
• Authors: Jeffrey Chiu, Rajat Mittal, Neehal Tumma, Abhishek Sharma, Finale Doshi-Velez
• Abstract要約: 本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 25.104653662416023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic models are some of the most popular ways to represent textual data in an interpret-able manner. Recently, advances in deep generative models, specifically auto-encoding variational Bayes (AEVB), have led to the introduction of unsupervised neural topic models, which leverage deep generative models as opposed to traditional statistics-based topic models. We extend upon these neural topic models by introducing the Label-Indexed Neural Topic Model (LI-NTM), which is, to the extent of our knowledge, the first effective upstream semi-supervised neural topic model. We find that LI-NTM outperforms existing neural topic models in document reconstruction benchmarks, with the most notable results in low labeled data regimes and for data-sets with informative labels; furthermore, our jointly learned classifier outperforms baseline classifiers in ablation studies.
• Abstract（参考訳）: トピックモデルは、解釈可能な方法でテキストデータを表現するための最も一般的な方法である。 近年、深部生成モデル、特に自動エンコード変分ベイズ(AEVB)の進歩は、従来の統計に基づくトピックモデルとは対照的に、深部生成モデルを活用する教師なしニューラルネットワークモデルの導入につながっている。 我々は,これらのニューラルネットワークモデルを拡張し,ラベル付きニューラルネットワークモデル(LI-NTM)を導入する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れており、ラベルの低いデータ構造や情報ラベル付きデータセットにおいて最も顕著な結果が得られる。

関連論文リスト

• Self-Supervised Learning for Neural Topic Models with Variance-Invariance-Covariance Regularization [12.784397404903142]
  本研究では,NTMのパワーと正規化された自己教師型学習手法を組み合わせた自己教師型ニューラルネットワーク(NTM)を提案する。 NTMは、ドキュメント内の単語の後ろに隠された潜在トピックをニューラルネットワークで学習する。 我々のモデルは、定量的にも質的にも、ベースラインや最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2025-02-14T06:47:37Z)
• Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings [10.095706051685665]
  従来の統計モデル(LDAとNMF)とBERTモデルを用いたトピックモデルの比較を行った。 定量的メトリクスは統計モデルを好むが、定性的評価は神経モデルからより良い洞察を得る。
  論文  参考訳（メタデータ） (2024-06-27T05:38:49Z)
• Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling [0.6445605125467573]
  ドロップアウトは、小さなデータセットでトレーニングされた大規模なフィードフォワードニューラルネットワークにおいて、過度に適合する問題を解決するために広く使用されている正規化トリックである。 我々は,3つの広く使用されているニューラルトピックモデルにおいて,エンコーダおよびVAEアーキテクチャのデコーダにおけるドロップアウトの結果を分析した。
  論文  参考訳（メタデータ） (2023-03-28T13:45:39Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Neural Topic Modeling with Deep Mutual Information Estimation [23.474848535821994]
  本稿では,深い相互情報推定を取り入れたニューラルトピックモデルを提案する。 NTM-DMIEはトピック学習のためのニューラルネットワーク手法である。 我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
  論文  参考訳（メタデータ） (2022-03-12T01:08:10Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Have you tried Neural Topic Models? Comparative Analysis of Neural and Non-Neural Topic Models with Application to COVID-19 Twitter Data [11.199249808462458]
  我々は、最先端のニューラルモデルと非ニューラルトピックモデルの比較研究を行う。 ニューラルトピックモデルは、標準評価基準において従来のトピックよりも優れていることを示す。 また,モード崩壊問題に対処するために,ニューラルトピックモデルの新しい正規化項を提案する。
  論文  参考訳（メタデータ） (2021-05-21T07:24:09Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。