論文の概要: Neural Dynamic Focused Topic Model

• arxiv url: http://arxiv.org/abs/2301.10988v1
• Date: Thu, 26 Jan 2023 08:37:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 14:12:11.628062
• Title: Neural Dynamic Focused Topic Model
• Title（参考訳）: ニューラル・ダイナミック・フォーカス・トピック・モデル
• Authors: Kostadin Cvejoski, Rams\'es J. S\'anchez, C\'esar Ojeda
• Abstract要約: ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。 本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
• 参考スコア（独自算出の注目度）: 2.9005223064604078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topic models and all their variants analyse text by learning meaningful representations through word co-occurrences. As pointed out by Williamson et al. (2010), such models implicitly assume that the probability of a topic to be active and its proportion within each document are positively correlated. This correlation can be strongly detrimental in the case of documents created over time, simply because recent documents are likely better described by new and hence rare topics. In this work we leverage recent advances in neural variational inference and present an alternative neural approach to the dynamic Focused Topic Model. Indeed, we develop a neural model for topic evolution which exploits sequences of Bernoulli random variables in order to track the appearances of topics, thereby decoupling their activities from their proportions. We evaluate our model on three different datasets (the UN general debates, the collection of NeurIPS papers, and the ACL Anthology dataset) and show that it (i) outperforms state-of-the-art topic models in generalization tasks and (ii) performs comparably to them on prediction tasks, while employing roughly the same number of parameters, and converging about two times faster. Source code to reproduce our experiments is available online.
• Abstract（参考訳）: 話題モデルとその変形は、単語共起を通じて意味のある表現を学習することでテキストを分析する。 Williamson et al. (2010) によって指摘されているように、そのようなモデルは、あるトピックがアクティブである確率とそのドキュメント内の比率が正に相関していることを暗黙的に仮定する。 この相関関係は、時間とともに作成された文書の場合、単に最近の文書が新しくて稀なトピックによってよりよく説明されるため、強く有害である可能性がある。 この研究では、ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。 実際,Bernolli確率変数の列を利用してトピックの出現を追跡し,それらの比率からそれらのアクティビティを分離する,トピック進化のためのニューラルモデルを開発した。 我々は3つの異なるデータセット(国連一般討論会、NeurIPS論文の収集、ACLアンソロジーデータセット)でモデルを評価し、それを示す。 (i)一般化タスクにおける最先端トピックモデルと性能 (二)予測タスクにおいて、ほぼ同じ数のパラメータを使用し、収束が約二倍速くなる。 我々の実験を再現するソースコードはオンラインで入手できる。

関連論文リスト

• Embedded Topic Models Enhanced by Wikification [3.082729239227955]
  ウィキペディアの知識をニューラルトピックモデルに組み込んで、名前付きエンティティを認識する。 実験により,本手法は一般化可能性において,ニューラルトピックモデルの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-03T12:39:14Z)
• Iterative Improvement of an Additively Regularized Topic Model [0.0]
  本稿では,トピックモデルの反復的学習法を提案する。 いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T18:22:12Z)
• ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics [1.854328133293073]
  本稿では、アラインドニューラルトピックモデル(ANTM)と呼ばれる動的トピックモデルのアルゴリズム系を提案する。 ANTMは、新しいデータマイニングアルゴリズムを組み合わせて、進化するトピックを発見するためのモジュラーフレームワークを提供する。 Pythonパッケージは、大規模テキストデータにおけるトピックのトレンドと進化パターンを研究したい研究者や科学者のために開発されている。
  論文  参考訳（メタデータ） (2023-02-03T02:31:12Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• A Discrete Variational Recurrent Topic Model without the Reparametrization Trick [16.54912614895861]
  離散確率変数を用いたニューラルトピックモデルの学習方法を示す。 複数のコーパスにまたがってパープレキシティと文書理解が改善された。
  論文  参考訳（メタデータ） (2020-10-22T20:53:44Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。