Fugu-MT 論文翻訳(概要): DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM

論文の概要: DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM

arxiv url: http://arxiv.org/abs/2310.15296v2
Date: Sat, 23 Dec 2023 07:05:20 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 21:44:54.277283
Title: DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM
Title（参考訳）: DeTiME:エンコーダデコーダを用いた拡散強調トピックモデリング
Authors: Weijie Xu, Wenxiang Hu, Fanyou Wu, Srinivasan Sengamedu
Abstract要約: 本研究は拡散強化トピックモデリングという新しいフレームワークを導入することでギャップを解消する。拡散モデルのパワーを活用することで、我々のフレームワークはトピックベースのテキスト生成を行う能力も提供する。
参考スコア（独自算出の注目度）: 2.8233611508673
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In the burgeoning field of natural language processing (NLP), Neural Topic Models (NTMs) , Large Language Models (LLMs) and Diffusion model have emerged as areas of significant research interest. Despite this, NTMs primarily utilize contextual embeddings from LLMs, which are not optimal for clustering or capable for topic based text generation. NTMs have never been combined with diffusion model for text generation. Our study addresses these gaps by introducing a novel framework named Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME). DeTiME leverages Encoder-Decoder-based LLMs to produce highly clusterable embeddings that could generate topics that exhibit both superior clusterability and enhanced semantic coherence compared to existing methods. Additionally, by exploiting the power of diffusion model, our framework also provides the capability to do topic based text generation. This dual functionality allows users to efficiently produce highly clustered topics and topic based text generation simultaneously. DeTiME's potential extends to generating clustered embeddings as well. Notably, our proposed framework(both encoder-decoder based LLM and diffusion model) proves to be efficient to train and exhibits high adaptability to other LLMs and diffusion model, demonstrating its potential for a wide array of applications.
Abstract（参考訳）: 自然言語処理(NLP)、ニューラルトピックモデル(NTM)、大規模言語モデル(LLM)、拡散モデル(Diffusion model)の急成長は、重要な研究分野として現れている。それにもかかわらず、NTMは主に、クラスタリングやトピックベースのテキスト生成に最適ではないLCMからのコンテキスト埋め込みを利用する。 NTMはテキスト生成のための拡散モデルと組み合わされたことはない。本研究では,Encoder-Decoder-based LLMs (DeTiME) を用いた拡散拡張トピックモデリングという新しいフレームワークを導入することで,これらのギャップに対処する。 DeTiME は Encoder-Decoder ベースの LLM を利用して高度にクラスタ化可能な埋め込みを生成する。さらに,拡散モデルのパワーを活用することで,話題ベースのテキスト生成を行う能力も提供する。この2つの機能により、ユーザは高度にクラスタ化されたトピックとトピックベースのテキスト生成を同時に生成できる。 DeTiMEのポテンシャルは、クラスタ化された埋め込みの生成にも及んでいる。特に,提案するフレームワーク(エンコーダ-デコーダベースLLMおよび拡散モデル)は,訓練に効率的であることが証明され,他のLLMや拡散モデルに高い適応性を示し,幅広い応用の可能性を示す。

関連論文リスト

Neural Topic Modeling with Large Language Models in the Loop [12.142323482188056]
大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。 LLM-ITLでは、グローバルトピックとドキュメント表現がNTMを通して学習され、LDMは信頼度重み付き最適輸送(OT)に基づくアライメントの目的を通じてトピックを洗練する。このプロセスは、NTMの効率を保ちながら、学習したトピックの解釈性とコヒーレンスを高める。
論文参考訳（メタデータ） (2024-11-13T11:31:02Z)
SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
投機的復号法(SD)は,大規模言語モデル(LLM)の推論を高速化するパラダイムとして広く用いられている。本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 SWIFTは生成したテキストの元の分布を保ちながら1.3x-1.6xの高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-09T14:15:30Z)
Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。 LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-21T04:39:06Z)
All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文参考訳（メタデータ） (2024-07-20T22:09:42Z)
Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
論文参考訳（メタデータ） (2024-06-17T17:59:43Z)
DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文参考訳（メタデータ） (2024-06-07T19:38:05Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文参考訳（メタデータ） (2023-05-22T15:33:21Z)
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文参考訳（メタデータ） (2022-12-20T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。