論文の概要: Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling

• arxiv url: http://arxiv.org/abs/2303.15973v1
• Date: Tue, 28 Mar 2023 13:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 14:57:57.050363
• Title: Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling
• Title（参考訳）: ニューラルトピックモデルは本当にドロップアウトが必要なのか? トピックモデリングにおけるドロップアウトの効果の分析
• Authors: Suman Adhya, Avishek Lahiri, Debarshi Kumar Sanyal
• Abstract要約: ドロップアウトは、小さなデータセットでトレーニングされた大規模なフィードフォワードニューラルネットワークにおいて、過度に適合する問題を解決するために広く使用されている正規化トリックである。 我々は,3つの広く使用されているニューラルトピックモデルにおいて,エンコーダおよびVAEアーキテクチャのデコーダにおけるドロップアウトの結果を分析した。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dropout is a widely used regularization trick to resolve the overfitting issue in large feedforward neural networks trained on a small dataset, which performs poorly on the held-out test subset. Although the effectiveness of this regularization trick has been extensively studied for convolutional neural networks, there is a lack of analysis of it for unsupervised models and in particular, VAE-based neural topic models. In this paper, we have analyzed the consequences of dropout in the encoder as well as in the decoder of the VAE architecture in three widely used neural topic models, namely, contextualized topic model (CTM), ProdLDA, and embedded topic model (ETM) using four publicly available datasets. We characterize the dropout effect on these models in terms of the quality and predictive performance of the generated topics.
• Abstract（参考訳）: dropoutは、小さなデータセットでトレーニングされた大規模フィードフォワードニューラルネットワークのオーバーフィット問題を解決するために広く使われている正規化トリックである。 この正規化手法の有効性は畳み込みニューラルネットワークで広く研究されているが、教師なしモデル、特にvaeベースのニューラルネットワークのトピックモデルでは解析が不十分である。 本稿では,エンコーダのドロップアウトとvaeアーキテクチャのデコーダについて,コンテキスト化トピックモデル(ctm),prodlda(prodlda),組込みトピックモデル(etm)という,広く使用されている3つのトピックモデルについて,4つのデータセットを用いて分析した。 生成したトピックの品質と予測性能の観点から,これらのモデルに対するドロップアウト効果を特徴付ける。

関連論文リスト

• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Application of quantum neural network model to a multivariate regression problem [0.0]
  本研究では,トレーニングデータのサイズが一般化性能に及ぼす影響について検討した。 その結果,トレーニングデータのサイズが小さい場合,QNNは特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-19T08:10:12Z)
• Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks? [18.92828441607381]
  埋め込みは観察によく適合するが、同時に誤った動的挙動を持つモデルを誘導することを示す。 2つの加法的ベクトル場成分をパラメトリした単純な埋め込み自由な代替法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T12:41:47Z)
• IterMiUnet: A lightweight architecture for automatic blood vessel segmentation [10.538564380139483]
  本稿では,新しい軽量畳み込み型セグメンテーションモデルであるIterMiUnetを提案する。 MiUnetモデルのエンコーダ・デコーダ構造を組み込むことで、その非常にパラメトリズドな性質を克服する。 提案モデルは,多くの疾患の早期診断のためのツールとして活用される可能性が大きい。
  論文  参考訳（メタデータ） (2022-08-02T14:33:14Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Have you tried Neural Topic Models? Comparative Analysis of Neural and Non-Neural Topic Models with Application to COVID-19 Twitter Data [11.199249808462458]
  我々は、最先端のニューラルモデルと非ニューラルトピックモデルの比較研究を行う。 ニューラルトピックモデルは、標準評価基準において従来のトピックよりも優れていることを示す。 また,モード崩壊問題に対処するために,ニューラルトピックモデルの新しい正規化項を提案する。
  論文  参考訳（メタデータ） (2021-05-21T07:24:09Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。