論文の概要: Evaluating Negative Sampling Approaches for Neural Topic Models

• arxiv url: http://arxiv.org/abs/2503.18167v1
• Date: Sun, 23 Mar 2025 18:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:56.405254
• Title: Evaluating Negative Sampling Approaches for Neural Topic Models
• Title（参考訳）: ニューラルトピックモデルに対する負サンプリング手法の評価
• Authors: Suman Adhya, Avishek Lahiri, Debarshi Kumar Sanyal, Partha Pratim Das,
• Abstract要約: 否定的サンプリングは、ディープラーニングモデルがより良い表現を学べる効果的な手法として登場した。 ニューラルトピックモデルに対する様々なネガティブサンプリング戦略の影響を包括的に分析する。
• 参考スコア（独自算出の注目度）: 2.772397333091846
• License:
• Abstract: Negative sampling has emerged as an effective technique that enables deep learning models to learn better representations by introducing the paradigm of learn-to-compare. The goal of this approach is to add robustness to deep learning models to learn better representation by comparing the positive samples against the negative ones. Despite its numerous demonstrations in various areas of computer vision and natural language processing, a comprehensive study of the effect of negative sampling in an unsupervised domain like topic modeling has not been well explored. In this paper, we present a comprehensive analysis of the impact of different negative sampling strategies on neural topic models. We compare the performance of several popular neural topic models by incorporating a negative sampling technique in the decoder of variational autoencoder-based neural topic models. Experiments on four publicly available datasets demonstrate that integrating negative sampling into topic models results in significant enhancements across multiple aspects, including improved topic coherence, richer topic diversity, and more accurate document classification. Manual evaluations also indicate that the inclusion of negative sampling into neural topic models enhances the quality of the generated topics. These findings highlight the potential of negative sampling as a valuable tool for advancing the effectiveness of neural topic models.
• Abstract（参考訳）: 否定的サンプリングは、ディープラーニングモデルがより優れた表現を学習することを可能にするための効果的な手法として登場した。 このアプローチの目的は、正のサンプルと負のサンプルを比較することによって、より優れた表現を学ぶために、ディープラーニングモデルに堅牢性を加えることである。 コンピュータビジョンや自然言語処理の様々な分野で多くの実証が行われたが、教師なし領域のようなトピックモデリングのような負のサンプリングの効果に関する包括的な研究は、まだ十分に研究されていない。 本稿では,ニューラルトピックモデルに対する異なるネガティブサンプリング戦略の影響を包括的に分析する。 変分オートエンコーダに基づくニューラルトピックモデルのデコーダに負のサンプリング手法を組み込むことにより、いくつかの人気のあるニューラルトピックモデルの性能を比較する。 4つの公開データセットの実験では、トピックモデルにネガティブサンプリングを統合することで、トピックコヒーレンスの改善、トピックの多様性の向上、より正確なドキュメント分類など、さまざまな面で大幅な拡張が実現されている。 手動による評価は、ニューラルトピックモデルにネガティブサンプリングを組み込むことで、生成されたトピックの品質が向上することを示している。 これらの知見は、ニューラルトピックモデルの有効性を向上するための貴重なツールとして、ネガティブサンプリングの可能性を強調している。

関連論文リスト

• Self-Supervised Learning for Neural Topic Models with Variance-Invariance-Covariance Regularization [12.784397404903142]
  本研究では,NTMのパワーと正規化された自己教師型学習手法を組み合わせた自己教師型ニューラルネットワーク(NTM)を提案する。 NTMは、ドキュメント内の単語の後ろに隠された潜在トピックをニューラルネットワークで学習する。 我々のモデルは、定量的にも質的にも、ベースラインや最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2025-02-14T06:47:37Z)
• Rethinking negative sampling in content-based news recommendation [1.5416095780642964]
  ニュースレコメンデーターシステムは、記事の短い寿命によって妨げられている。 近年の研究では、この問題に対処するためのコンテンツベースニューラルネットワークの可能性が実証されている。 本研究では, 否定例の慎重なサンプリングが, モデルの結果に大きな影響を与えることを示唆する。
  論文  参考訳（メタデータ） (2024-11-13T15:42:13Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling [8.329870357145927]
  機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。 タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
  論文  参考訳（メタデータ） (2021-10-14T07:44:14Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Have you tried Neural Topic Models? Comparative Analysis of Neural and Non-Neural Topic Models with Application to COVID-19 Twitter Data [11.199249808462458]
  我々は、最先端のニューラルモデルと非ニューラルトピックモデルの比較研究を行う。 ニューラルトピックモデルは、標準評価基準において従来のトピックよりも優れていることを示す。 また,モード崩壊問題に対処するために,ニューラルトピックモデルの新しい正規化項を提案する。
  論文  参考訳（メタデータ） (2021-05-21T07:24:09Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。