論文の概要: Probabilistic Topic Modelling with Transformer Representations

• arxiv url: http://arxiv.org/abs/2403.03737v1
• Date: Wed, 6 Mar 2024 14:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:56:37.794688
• Title: Probabilistic Topic Modelling with Transformer Representations
• Title（参考訳）: 変圧器表現を用いた確率的トピックモデリング
• Authors: Arik Reuter, Anton Thielmann, Christoph Weisser, Benjamin S\"afken, Thomas Kneib
• Abstract要約: トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。 このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。 実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.9999629695552195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic modelling was mostly dominated by Bayesian graphical models during the last decade. With the rise of transformers in Natural Language Processing, however, several successful models that rely on straightforward clustering approaches in transformer-based embedding spaces have emerged and consolidated the notion of topics as clusters of embedding vectors. We propose the Transformer-Representation Neural Topic Model (TNTM), which combines the benefits of topic representations in transformer-based embedding spaces and probabilistic modelling. Therefore, this approach unifies the powerful and versatile notion of topics based on transformer embeddings with fully probabilistic modelling, as in models such as Latent Dirichlet Allocation (LDA). We utilize the variational autoencoder (VAE) framework for improved inference speed and modelling flexibility. Experimental results show that our proposed model achieves results on par with various state-of-the-art approaches in terms of embedding coherence while maintaining almost perfect topic diversity. The corresponding source code is available at https://github.com/ArikReuter/TNTM.
• Abstract（参考訳）: トピックモデリングは、主に過去10年間にベイジアングラフィックモデルによって支配された。 しかし、自然言語処理におけるトランスフォーマーの台頭に伴い、トランスフォーマベースの埋め込み空間における単純なクラスタリングアプローチに依存するいくつかのモデルが登場し、トピックの概念を埋め込みベクトルのクラスタとして統合した。 本稿では,トランスフォーマーベース埋め込み空間におけるトピック表現の利点と確率的モデリングを組み合わせたトランスフォーマー表現ニューラルトピックモデル(TNTM)を提案する。 したがって、このアプローチは、LDA(Latent Dirichlet Allocation)のようなモデルのように、完全に確率的なモデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。 可変オートエンコーダ(VAE)フレームワークを用いて推論速度とモデリングの柔軟性を向上させる。 実験結果から,提案モデルはほぼ完全なトピックの多様性を維持しつつ,組込みコヒーレンスの観点から,最先端のアプローチと同等の結果が得られることがわかった。 対応するソースコードはhttps://github.com/ArikReuter/TNTMで入手できる。

関連論文リスト

• Joint Fine-tuning and Conversion of Pretrained Speech and Language Models towards Linear Complexity [11.302828987873497]
  本稿では,変換器モデルを線形時間置換器に変換し,目標タスクに微調整するクロスアーキテクチャ層蒸留(CALD)手法を提案する。 そこで本研究では,CALDが元のモデルの結果を効果的に回収できることを示す。
  論文  参考訳（メタデータ） (2024-10-09T13:06:43Z)
• FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model [76.509837704596]
  本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。 我々はDSR(Dual Semantic-Relation Reconstruction)を用いて潜在トピックをモデル化する。 また, セマンティック関係を最適輸送計画として正規化するためのETP(Embedding Transport Plan)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:06:38Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption [45.00129952368691]
  ホモモルフィック暗号化(HE)は、ディープラーニングにおける最も有望なアプローチの1つである。 変換器を用いたHE上でのセキュアな推論のデモンストレーションとして,第1回変換器を紹介する。 我々のモデルは従来の手法に匹敵する結果をもたらし、同様のスケールのトランスフォーマーで性能ギャップを埋め、最先端のアプリケーションでHEが実現可能であることを裏付ける。
  論文  参考訳（メタデータ） (2023-11-15T00:23:58Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• GAMMT: Generative Ambiguity Modeling Using Multiple Transformers [0.0]
  本稿では,GAMMT (Generative Ambiguity Models using Multiple Transformer) と呼ばれる新しいモデルを提案する。 我々のアプローチは、シーケンスのデータ生成プロセスが決定論的ではなく、むしろ曖昧で確率の集合の影響を受けていることを認めている。
  論文  参考訳（メタデータ） (2022-11-16T06:24:26Z)
• N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
  本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。 我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2022-07-13T17:18:02Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• A Discrete Variational Recurrent Topic Model without the Reparametrization Trick [16.54912614895861]
  離散確率変数を用いたニューラルトピックモデルの学習方法を示す。 複数のコーパスにまたがってパープレキシティと文書理解が改善された。
  論文  参考訳（メタデータ） (2020-10-22T20:53:44Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。