論文の概要: Neural Topic Modeling with Large Language Models in the Loop

• arxiv url: http://arxiv.org/abs/2411.08534v2
• Date: Tue, 17 Dec 2024 02:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:25.283729
• Title: Neural Topic Modeling with Large Language Models in the Loop
• Title（参考訳）: ループ内大言語モデルを用いたニューラルトピックモデリング
• Authors: Xiaohao Yang, He Zhao, Weijie Xu, Yuanyuan Qi, Jueqing Lu, Dinh Phung, Lan Du,
• Abstract要約: 大きな言語モデル(LLM)はトピック発見において有望な能力を示している。 ニューラルトピックモデル(NTM)とLLMを統合する新しいフレームワークであるLLM-ITLを提案する。 コードとデータセットはGithubで公開されます。
• 参考スコア（独自算出の注目度）: 12.142323482188056
• License:
• Abstract: Topic modeling is a fundamental task in natural language processing, allowing the discovery of latent thematic structures in text corpora. While Large Language Models (LLMs) have demonstrated promising capabilities in topic discovery, their direct application to topic modeling suffers from issues such as incomplete topic coverage, misalignment of topics, and inefficiency. To address these limitations, we propose LLM-ITL, a novel LLM-in-the-loop framework that integrates LLMs with Neural Topic Models (NTMs). In LLM-ITL, global topics and document representations are learned through the NTM. Meanwhile, an LLM refines these topics using an Optimal Transport (OT)-based alignment objective, where the refinement is dynamically adjusted based on the LLM's confidence in suggesting topical words for each set of input words. With the flexibility of being integrated into many existing NTMs, the proposed approach enhances the interpretability of topics while preserving the efficiency of NTMs in learning topics and document representations. Extensive experiments demonstrate that LLM-ITL helps NTMs significantly improve their topic interpretability while maintaining the quality of document representation. Our code and datasets will be available at Github.
• Abstract（参考訳）: トピックモデリングは自然言語処理の基本的な課題であり、テキストコーパスの潜在テーマ構造を発見できる。 大規模言語モデル(LLM)は、トピック発見において有望な能力を示したが、トピックモデリングへの直接的な適用は、不完全なトピックカバレッジ、トピックの誤調整、非効率といった問題に悩まされている。 これらの制約に対処するため,ニューラルトピックモデル(NTM)とLLMを統合する新しいLLM-in-the-loopフレームワークであるLLM-ITLを提案する。 LLM-ITLでは、NTMを通してグローバルトピックと文書表現が学習される。 一方、LLMは、最適輸送(OT)に基づくアライメント目標を用いてこれらのトピックを洗練し、各入力語に対してトピック語を提案することに対するLLMの自信に基づいて、改善を動的に調整する。 既存の多くのNTMに組み込む柔軟性により,学習トピックや文書表現におけるNTMの効率を保ちながら,トピックの解釈可能性を高めることができる。 LLM-ITLは、文書表現の質を維持しながら、NTMのトピック解釈可能性を大幅に向上させる。 コードとデータセットはGithubで公開されます。

関連論文リスト

• LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework [0.0]
  大きな言語モデル(LLM)は動的トピックの洗練と発見の可能性を秘めている。 これらの課題に対処するため、LLM支援反復トピック拡張フレームワーク(LITA)を提案する。 LITAは、ユーザが提供するシードと埋め込みベースのクラスタリングと反復的な改良を統合している。
  論文  参考訳（メタデータ） (2024-12-17T01:43:44Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling [1.0345450222523374]
  強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は確率論的トピックモデリングに代わるものだ。 本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に対処することに焦点を当てる。 提案手法は, 従来の人間のアノテーションに頼らず, 生トピックの修正に再構築パイプラインを用いる。
  論文  参考訳（メタデータ） (2024-05-01T16:32:07Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
  広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。 本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
  論文  参考訳（メタデータ） (2024-03-24T17:39:51Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM [2.8233611508673]
  本研究は拡散強化トピックモデリングという新しいフレームワークを導入することでギャップを解消する。 拡散モデルのパワーを活用することで、我々のフレームワークはトピックベースのテキスト生成を行う能力も提供する。
  論文  参考訳（メタデータ） (2023-10-23T19:03:04Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。