論文の概要: Neural Topic Modeling with Large Language Models in the Loop

• arxiv url: http://arxiv.org/abs/2411.08534v1
• Date: Wed, 13 Nov 2024 11:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:36.121860
• Title: Neural Topic Modeling with Large Language Models in the Loop
• Title（参考訳）: ループ内大言語モデルを用いたニューラルトピックモデリング
• Authors: Xiaohao Yang, He Zhao, Weijie Xu, Yuanyuan Qi, Jueqing Lu, Dinh Phung, Lan Du,
• Abstract要約: 大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。 LLM-ITLでは、グローバルトピックとドキュメント表現がNTMを通して学習され、LDMは信頼度重み付き最適輸送(OT)に基づくアライメントの目的を通じてトピックを洗練する。 このプロセスは、NTMの効率を保ちながら、学習したトピックの解釈性とコヒーレンスを高める。
• 参考スコア（独自算出の注目度）: 12.142323482188056
• License:
• Abstract: Topic modeling is a fundamental task in natural language processing, allowing the discovery of latent thematic structures in text corpora. While Large Language Models (LLMs) have demonstrated promising capabilities in topic discovery, their direct application to topic modeling suffers from issues such as incomplete topic coverage, misalignment of topics, and inefficiency. To address these limitations, we propose LLM-ITL, a novel LLM-in-the-loop framework that integrates LLMs with many existing Neural Topic Models (NTMs). In LLM-ITL, global topics and document representations are learned through the NTM, while an LLM refines the topics via a confidence-weighted Optimal Transport (OT)-based alignment objective. This process enhances the interpretability and coherence of the learned topics, while maintaining the efficiency of NTMs. Extensive experiments demonstrate that LLM-ITL can help NTMs significantly improve their topic interpretability while maintaining the quality of document representation.
• Abstract（参考訳）: トピックモデリングは自然言語処理の基本的な課題であり、テキストコーパス内の潜在テーマ構造を発見できる。 大規模言語モデル(LLM)は、トピック発見において有望な能力を示したが、トピックモデリングへの直接的な適用は、不完全なトピックカバレッジ、トピックの誤調整、非効率といった問題に悩まされている。 これらの制約に対処するため,既存のニューラルトピックモデル(NTM)とLLMを統合する新しいLLM-in-the-loopフレームワークであるLLM-ITLを提案する。 LLM-ITLでは、グローバルトピックとドキュメント表現がNTMを通して学習され、LDMは信頼度重み付き最適輸送(OT)に基づくアライメントの目的を通じてトピックを洗練する。 このプロセスは、NTMの効率を保ちながら、学習したトピックの解釈性とコヒーレンスを高める。 LLM-ITLは、文書表現の質を維持しながら、NTMがトピックの解釈可能性を大幅に向上することを示した。

関連論文リスト

• Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling [1.0345450222523374]
  強力なゼロショットトピック抽出機能を備えた大規模言語モデル(LLM)は確率論的トピックモデリングに代わるものだ。 本稿では,LLMに基づくトピックモデリングにおけるトピックの粒度と幻覚の問題に対処することに焦点を当てる。 提案手法は, 従来の人間のアノテーションに頼らず, 生トピックの修正に再構築パイプラインを用いる。
  論文  参考訳（メタデータ） (2024-05-01T16:32:07Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Simul-LLM: A Framework for Exploring High-Quality Simultaneous Translation with Large Language Models [4.873927154453253]
  数十億のパラメータを持ち、大量のデータに事前訓練された大規模言語モデル(LLM)は、さまざまな下流自然言語処理タスクにおいて、最先端の性能に近いかそれ以上の性能を持つようになった。 Simul-LLMは、SimulMTにフォーカスしたLLMのためのオープンソースのファインチューニングおよび評価パイプライン開発フレームワークである。
  論文  参考訳（メタデータ） (2023-12-07T20:42:05Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Proto-lm: A Prototypical Network-Based Framework for Built-in Interpretability in Large Language Models [27.841725567976315]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させてきたが、その解釈可能性の欠如が大きな関心事となっている。 本稿では,LLMが即座に解釈可能な埋め込みを学習できるネットワークベースのホワイトボックスフレームワークであるproto-lmを紹介する。 提案手法の適用性と解釈性は,幅広いNLPタスクの実験を通じて実証され,性能を犠牲にすることなく解釈可能なモデルを作成する新たな可能性を示す。
  論文  参考訳（メタデータ） (2023-11-03T05:55:32Z)
• DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM [2.8233611508673]
  本研究は拡散強化トピックモデリングという新しいフレームワークを導入することでギャップを解消する。 拡散モデルのパワーを活用することで、我々のフレームワークはトピックベースのテキスト生成を行う能力も提供する。
  論文  参考訳（メタデータ） (2023-10-23T19:03:04Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。