論文の概要: DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM

• arxiv url: http://arxiv.org/abs/2310.15296v1
• Date: Mon, 23 Oct 2023 19:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 22:02:24.714401
• Title: DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM
• Title（参考訳）: DeTiME:エンコーダデコーダを用いた拡散強調トピックモデリング
• Authors: Weijie Xu, Wenxiang Hu, Fanyou Wu, Srinivasan Sengamedu
• Abstract要約: ncoder-Decoder-based LLMs (DeTiME) を用いた拡散強調トピックという新しいフレームワークを提案する。 拡散の力を利用することにより、我々のフレームワークは、特定されたトピックに関連するコンテンツを生成する能力も提供します。 提案するフレームワークは、トレーニングに効率的であることが証明され、高い適応性を示し、広範囲のアプリケーションに対してその可能性を示す。
• 参考スコア（独自算出の注目度）: 2.8233611508673
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In the burgeoning field of natural language processing, Neural Topic Models (NTMs) and Large Language Models (LLMs) have emerged as areas of significant research interest. Despite this, NTMs primarily utilize contextual embeddings from LLMs, which are not optimal for clustering or capable for topic generation. Our study addresses this gap by introducing a novel framework named Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME). DeTiME leverages ncoder-Decoder-based LLMs to produce highly clusterable embeddings that could generate topics that exhibit both superior clusterability and enhanced semantic coherence compared to existing methods. Additionally, by exploiting the power of diffusion, our framework also provides the capability to generate content relevant to the identified topics. This dual functionality allows users to efficiently produce highly clustered topics and related content simultaneously. DeTiME's potential extends to generating clustered embeddings as well. Notably, our proposed framework proves to be efficient to train and exhibits high adaptability, demonstrating its potential for a wide array of applications.
• Abstract（参考訳）: 自然言語処理の急成長の分野では、ニューラルネットワークモデル(NTM)と大規模言語モデル(LLM)が重要な研究分野として浮上している。 それにもかかわらず、NTMは主に、クラスタリングやトピック生成に最適ではないLCMからのコンテキスト埋め込みを利用する。 本研究では,Encoder-Decoder-based LLMs (DeTiME) を用いた拡散拡張トピックモデリングという新しいフレームワークを導入することで,このギャップに対処する。 DeTiME は ncoder-Decoder ベースの LLM を利用して高度にクラスタ化可能な埋め込みを生成する。 さらに,拡散のパワーを活用することで,特定トピックに関連するコンテンツを生成する機能も提供する。 このデュアル機能は、高度にクラスタ化されたトピックと関連するコンテンツを同時に効率的に生成することを可能にする。 DeTiMEのポテンシャルは、クラスタ化された埋め込みの生成にも及んでいる。 特に,提案するフレームワークはトレーニングに効率的であることが証明され,高い適応性を示し,広範囲のアプリケーションに対してその可能性を示す。

関連論文リスト

• Neural Topic Modeling with Large Language Models in the Loop [12.142323482188056]
  大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。 LLM-ITLでは、グローバルトピックとドキュメント表現がNTMを通して学習され、LDMは信頼度重み付き最適輸送(OT)に基づくアライメントの目的を通じてトピックを洗練する。 このプロセスは、NTMの効率を保ちながら、学習したトピックの解釈性とコヒーレンスを高める。
  論文  参考訳（メタデータ） (2024-11-13T11:31:02Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論を高速化するパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 SWIFTは生成したテキストの元の分布を保ちながら1.3x-1.6xの高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
  本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。 これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。 LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-21T04:39:06Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。