論文の概要: Prompting Large Language Models for Topic Modeling

• arxiv url: http://arxiv.org/abs/2312.09693v1
• Date: Fri, 15 Dec 2023 11:15:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:16:34.792238
• Title: Prompting Large Language Models for Topic Modeling
• Title（参考訳）: トピックモデリングのための大規模言語モデルの提案
• Authors: Han Wang, Nirmalendu Prakash, Nguyen Khoi Hoang, Ming Shan Hee, Usman Naseem, Roy Ka-Wei Lee
• Abstract要約: 大規模言語モデル(LLM)の高度な言語理解を活用する新しいトピックモデリング手法であるPromptTopicを提案する。 個々の文書から文章レベルでトピックを抽出し、これらのトピックを事前定義された量に集約して凝縮し、最終的に様々な長さのテキストに対して一貫性のあるトピックを提供する。 PromptTopicを3つの非常に多様なデータセットの最先端のベースラインに対してベンチマークし、意味のあるトピックを発見する能力を確立しました。
• 参考スコア（独自算出の注目度）: 10.31712610860913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic modeling is a widely used technique for revealing underlying thematic structures within textual data. However, existing models have certain limitations, particularly when dealing with short text datasets that lack co-occurring words. Moreover, these models often neglect sentence-level semantics, focusing primarily on token-level semantics. In this paper, we propose PromptTopic, a novel topic modeling approach that harnesses the advanced language understanding of large language models (LLMs) to address these challenges. It involves extracting topics at the sentence level from individual documents, then aggregating and condensing these topics into a predefined quantity, ultimately providing coherent topics for texts of varying lengths. This approach eliminates the need for manual parameter tuning and improves the quality of extracted topics. We benchmark PromptTopic against the state-of-the-art baselines on three vastly diverse datasets, establishing its proficiency in discovering meaningful topics. Furthermore, qualitative analysis showcases PromptTopic's ability to uncover relevant topics in multiple datasets.
• Abstract（参考訳）: トピックモデリングは、テキストデータ内の主題構造を明らかにするために広く用いられている手法である。 しかし、既存のモデルは特定の制限があり、特に共起語を持たない短いテキストデータセットを扱う場合である。 さらに、これらのモデルは、主にトークンレベルの意味論に焦点を当てた文レベルの意味論を無視することが多い。 本稿では,これらの課題に対処するために,大規模言語モデル(LLM)の高度な言語理解を活用する新しいトピックモデリング手法であるPromptTopicを提案する。 個々の文書から文章レベルでトピックを抽出し、それらのトピックを事前定義された量に集約し、最終的に長さの異なるテキストに対して一貫性のあるトピックを提供する。 このアプローチは、手動パラメータチューニングの必要性を排除し、抽出されたトピックの品質を改善する。 我々は3つの非常に多様なデータセットで最先端のベースラインに対してプロンプトトピックをベンチマークし,有意義なトピックの発見能力を確立した。 さらに、質的分析は、複数のデータセットで関連するトピックを明らかにするプロンプトトピックの能力を示す。

関連論文リスト

• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Enhanced Short Text Modeling: Leveraging Large Language Models for Topic Refinement [7.6115889231452964]
  トピックリファインメント(Topic Refinement)と呼ばれる新しいアプローチを導入する。 このアプローチは、トピックの初期のモデリングに直接関係せず、採掘後にトピックを改善することに重点を置いています。 素早いエンジニアリングを駆使して、所与のトピック内での話題外単語を排除し、文脈的に関係のある単語だけが、よりセマンティックに適合した単語で保存または置換されることを保証する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• TopicGPT: A Prompt-based Topic Modeling Framework [77.72072691307811]
  TopicGPTは,大規模言語モデルを用いてテキストコレクション内の潜在トピックを明らかにするプロンプトベースのフレームワークである。 競合する手法と比較して、人間の分類とよく一致したトピックを生成する。 そのトピックもまた解釈可能であり、自然言語ラベルと関連する自由形式の記述を含むトピックを好んで、曖昧な言葉の袋を除いた。
  論文  参考訳（メタデータ） (2023-11-02T17:57:10Z)
• Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling [29.87929724277381]
  短いテキストでは、共起情報は最小限であり、結果として文書表現の特徴が分散する。 既存のトピックモデル(確率的あるいは神経的)は、ほとんどの場合、一貫性のあるトピックを生成するためにパターンのマイニングに失敗します。 既存の事前学習言語モデル(PLM)を用いて、短いテキストを長いシーケンスに拡張する。
  論文  参考訳（メタデータ） (2023-10-24T00:23:30Z)
• TopicAdapt- An Inter-Corpora Topics Adaptation Approach [27.450275637652418]
  本稿では、関連するソースコーパスから関連するトピックを適応し、ソースコーパスに存在しないターゲットコーパスに新しいトピックを発見できるトピックモデルTopicAdaptを提案する。 多様なドメインからの複数のデータセットに対する実験は、最先端のトピックモデルに対して提案されたモデルの優位性を示している。
  論文  参考訳（メタデータ） (2023-10-08T02:56:44Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Topic-Aware Multi-turn Dialogue Modeling [91.52820664879432]
  本稿では,トピック認識発話を教師なしでセグメント化して抽出する,多元対話モデリングのための新しいソリューションを提案する。 トピック・アウェア・モデリングは、新たに提案されたトピック・アウェア・セグメンテーション・アルゴリズムとトピック・アウェア・デュアル・アテンション・マッチング(TADAM)ネットワークによって実現されている。
  論文  参考訳（メタデータ） (2020-09-26T08:43:06Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。