論文の概要: Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling

• arxiv url: http://arxiv.org/abs/2310.15420v1
• Date: Tue, 24 Oct 2023 00:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 21:10:09.140646
• Title: Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling
• Title（参考訳）: 短文トピックモデリングのための事前学習型言語モデル"Imagine"
• Authors: Pritom Saha Akash, Jie Huang, Kevin Chen-Chuan Chang
• Abstract要約: 短いテキストでは、共起情報は最小限であり、結果として文書表現の特徴が分散する。 既存のトピックモデル(確率的あるいは神経的)は、ほとんどの場合、一貫性のあるトピックを生成するためにパターンのマイニングに失敗します。 既存の事前学習言語モデル(PLM)を用いて、短いテキストを長いシーケンスに拡張する。
• 参考スコア（独自算出の注目度）: 29.87929724277381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topic models are one of the compelling methods for discovering latent semantics in a document collection. However, it assumes that a document has sufficient co-occurrence information to be effective. However, in short texts, co-occurrence information is minimal, which results in feature sparsity in document representation. Therefore, existing topic models (probabilistic or neural) mostly fail to mine patterns from them to generate coherent topics. In this paper, we take a new approach to short-text topic modeling to address the data-sparsity issue by extending short text into longer sequences using existing pre-trained language models (PLMs). Besides, we provide a simple solution extending a neural topic model to reduce the effect of noisy out-of-topics text generation from PLMs. We observe that our model can substantially improve the performance of short-text topic modeling. Extensive experiments on multiple real-world datasets under extreme data sparsity scenarios show that our models can generate high-quality topics outperforming state-of-the-art models.
• Abstract（参考訳）: トピックモデルは、ドキュメントコレクション内の潜在意味論を発見するための魅力的な方法の1つです。 しかし、ドキュメントが有効な十分な共起情報を持っていると仮定する。 しかし、短いテキストでは、共起情報は最小限であり、結果として文書表現に特徴的スパーシティが生じる。 したがって、既存のトピックモデル(確率的または神経的)は、主にパターンをマイニングして一貫性のあるトピックを生成するのに失敗する。 本稿では,既存の事前学習言語モデル(PLM)を用いて,短いテキストを長いシーケンスに拡張することで,データスパーシビリティ問題に対処する,短文トピックモデリングの新しいアプローチを提案する。 さらに、PLMからノイズの多い話題テキスト生成の効果を低減するために、ニューラルトピックモデルを拡張した簡単なソリューションを提供する。 我々は,本モデルが短文トピックモデリングの性能を大幅に向上させることができることを観察した。 極端なデータスパーシティシナリオの下での複数の実世界のデータセットに関する広範囲な実験は、我々のモデルが最先端のモデルよりも高品質なトピックを生成できることを示しています。

関連論文リスト

• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
  本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。 トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。 提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
  論文  参考訳（メタデータ） (2024-09-28T19:45:45Z)
• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• Enhanced Short Text Modeling: Leveraging Large Language Models for Topic Refinement [7.6115889231452964]
  トピックリファインメント(Topic Refinement)と呼ばれる新しいアプローチを導入する。 このアプローチは、トピックの初期のモデリングに直接関係せず、採掘後にトピックを改善することに重点を置いています。 素早いエンジニアリングを駆使して、所与のトピック内での話題外単語を排除し、文脈的に関係のある単語だけが、よりセマンティックに適合した単語で保存または置換されることを保証する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning [19.7066703371736]
  トピック・セマンティック・コントラスト・トピック・モデル(TSCTM)を提案する。 我々のTSCTMは、データ拡張の可用性に関わらず最先端のベースラインを上回り、高品質なトピックやトピックの分布を生成します。
  論文  参考訳（メタデータ） (2022-11-23T11:33:43Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。