論文の概要: vONTSS: vMF based semi-supervised neural topic modeling with optimal transport

• arxiv url: http://arxiv.org/abs/2307.01226v2
• Date: Sat, 16 Sep 2023 16:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 23:19:23.110118
• Title: vONTSS: vMF based semi-supervised neural topic modeling with optimal transport
• Title（参考訳）: vONTSS: 最適輸送を用いたvMFに基づく半教師付きニューラルトピックモデリング
• Authors: Weijie Xu, Xiaoyu Jiang, Srinivasan H. Sengamedu, Francis Iannacci, Jinjin Zhao
• Abstract要約: この研究は、von Mises-Fisher (vMF) ベースの変分オートエンコーダと最適なトランスポートを用いた半教師付きニューラルトピックモデリング手法 vONTSS を提案する。 実験により、vONTSSは、分類精度と多様性において、既存の半教師付きトピックモデリング手法よりも優れていることが示された。 また、類似の分類性能を達成しつつ、最先端の弱教師付きテキスト分類法よりもはるかに高速である。
• 参考スコア（独自算出の注目度）: 6.874745415692134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Neural Topic Models (NTM), inspired by variational autoencoders, have attracted a lot of research interest; however, these methods have limited applications in the real world due to the challenge of incorporating human knowledge. This work presents a semi-supervised neural topic modeling method, vONTSS, which uses von Mises-Fisher (vMF) based variational autoencoders and optimal transport. When a few keywords per topic are provided, vONTSS in the semi-supervised setting generates potential topics and optimizes topic-keyword quality and topic classification. Experiments show that vONTSS outperforms existing semi-supervised topic modeling methods in classification accuracy and diversity. vONTSS also supports unsupervised topic modeling. Quantitative and qualitative experiments show that vONTSS in the unsupervised setting outperforms recent NTMs on multiple aspects: vONTSS discovers highly clustered and coherent topics on benchmark datasets. It is also much faster than the state-of-the-art weakly supervised text classification method while achieving similar classification performance. We further prove the equivalence of optimal transport loss and cross-entropy loss at the global minimum.
• Abstract（参考訳）: 近年,変分オートエンコーダにインスパイアされたニューラルトピックモデル (NTM) が注目されているが,これらの手法は人間の知識を取り入れることの難しさから,現実世界での応用が限られている。 この研究は、von Mises-Fisher (vMF) ベースの変分オートエンコーダと最適なトランスポートを用いた半教師付きニューラルトピックモデリング手法 vONTSS を提案する。 トピック毎にいくつかのキーワードが提供されると、半教師付きセッティングのvONTSSは潜在的なトピックを生成し、トピックキーワードの品質とトピック分類を最適化する。 実験により、vONTSSは、分類精度と多様性において、既存の半教師付きトピックモデリング手法よりも優れていることが示された。 vONTSSは教師なしトピックモデリングもサポートする。 定量的および定性的な実験により、教師なし設定におけるvONTSSは、複数の面で最近のNTMよりも優れていた。 また、類似の分類性能を達成しつつ、最先端の弱教師付きテキスト分類法よりもはるかに高速である。 さらに,世界最小での最適輸送損失とクロスエントロピー損失の等価性を示す。

関連論文リスト

• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis [5.757610495733924]
  対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。 現在の自動メトリクスは、トピックモデリング機能の完全な図を提供していないことを示す。
  論文  参考訳（メタデータ） (2024-01-29T17:54:04Z)
• Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks [55.36987468073152]
  本稿では,DG-SCT(Dual-Guided Space-Channel-Temporal)アテンション機構を提案する。 DG-SCTモジュールはトレーニング可能なクロスモーダル・インタラクション・レイヤを事前トレーニングされたオーディオ・ビジュアル・エンコーダに組み込む。 提案手法は, AVE, AVVP, AVS, AVQA, AVQAを含む複数のダウンストリームタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2023-11-09T05:24:20Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Neural Topic Modeling with Deep Mutual Information Estimation [23.474848535821994]
  本稿では,深い相互情報推定を取り入れたニューラルトピックモデルを提案する。 NTM-DMIEはトピック学習のためのニューラルネットワーク手法である。 我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
  論文  参考訳（メタデータ） (2022-03-12T01:08:10Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Neural Topic Model via Optimal Transport [24.15046280736009]
  最適輸送理論(OT)を用いたニューラルトピックモデルを提案する。 具体的には、文書の単語分布に対するOT距離を直接最小化し、文書の話題分布を学習することを提案する。 提案手法は, 異なる損失を伴って効率的に学習することができる。
  論文  参考訳（メタデータ） (2020-08-12T06:37:09Z)
• Context Reinforced Neural Topic Modeling over Short Texts [15.487822291146689]
  文脈強化ニューラルトピックモデル(CRNTM)を提案する。 CRNTMは各単語のトピックを狭い範囲で推測し、各短いテキストがわずかにまとまったトピックだけをカバーしていると仮定する。 2つのベンチマークデータセットの実験は、トピック発見とテキスト分類の両方において提案モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2020-08-11T06:41:53Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。