論文の概要: Topic Modeling for Short Texts with Large Language Models

• arxiv url: http://arxiv.org/abs/2406.00697v1
• Date: Sun, 2 Jun 2024 10:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:46:38.736103
• Title: Topic Modeling for Short Texts with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた短文のトピックモデリング
• Authors: Tomoki Doi, Masaru Isonuma, Hitomi Yanaka,
• Abstract要約: 本稿では,並列プロンプトと逐次プロンプトの2つのアプローチについて,トピックモデリングにLarge Language Modelsを使用する。 実験の結果,提案手法は既存の手法よりも一貫性のあるトピックを識別できることがわかった。 その結果, 推測されたトピックが入力テキストを適切にカバーしているのに対して, 幻覚的トピックはほとんど生成されていないことがわかった。
• 参考スコア（独自算出の注目度）: 18.317976368281716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As conventional topic models rely on word co-occurrence to infer latent topics, topic modeling for short texts has been a long-standing challenge. Large Language Models (LLMs) can potentially overcome this challenge by contextually learning the semantics of words via pretraining. This paper studies two approaches, parallel prompting and sequential prompting, to use LLMs for topic modeling. Due to the input length limitations, LLMs cannot process many texts at once. By splitting the texts into smaller subsets and processing them parallelly or sequentially, an arbitrary number of texts can be handled by LLMs. Experimental results demonstrated that our methods can identify more coherent topics than existing ones while maintaining the diversity of the induced topics. Furthermore, we found that the inferred topics adequately covered the input texts, while hallucinated topics were hardly generated.
• Abstract（参考訳）: 従来のトピックモデルは単語共起に頼って潜在トピックを推測するので、短いテキストのトピックモデリングは長年にわたる課題である。 大きな言語モデル(LLM)は、事前学習を通じて単語の意味を文脈的に学習することで、この課題を克服することができる。 本稿では,並列プロンプトと逐次プロンプトという2つの手法を用いてトピックモデリングを行う。 入力長制限のため、LLMは一度に多くのテキストを処理できない。 テキストを小さなサブセットに分割し、並列またはシーケンシャルに処理することで、任意の数のテキストをLCMで処理することができる。 実験の結果,提案手法は既存のトピックよりも一貫性のあるトピックを同定し,その多様性を維持できることがわかった。 さらに, 推定されたトピックが入力テキストを適切にカバーし, 幻覚的トピックがほとんど生成しないことが判明した。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling [1.0345450222523374]
  強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は確率論的トピックモデリングに代わるものだ。 本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に対処することに焦点を当てる。 提案手法は, 従来の人間のアノテーションに頼らず, 生トピックの修正に再構築パイプラインを用いる。
  論文  参考訳（メタデータ） (2024-05-01T16:32:07Z)
• Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
  広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。 本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
  論文  参考訳（メタデータ） (2024-03-24T17:39:51Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals? [19.814974042343028]
  科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。 MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T23:00:54Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。