論文の概要: Poisson-Process Topic Model for Integrating Knowledge from Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2503.17809v1
- Date: Sat, 22 Mar 2025 16:19:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:37:43.563805
- Title: Poisson-Process Topic Model for Integrating Knowledge from Pre-trained Language Models
- Title（参考訳）: 事前学習言語モデルからの知識統合のためのPoisson-Process Topic Model
- Authors: Morgane Austern, Yuanchuan Guo, Zheng Tracy Ke, Tianle Liu,
- Abstract要約: 事前学習したLLMを用いて、各文書を単語埋め込みのシーケンスに変換する。
この列はポアソン点過程としてモデル化され、その強度測度は、それぞれトピックに対応する$K$基底測度の凸結合として表される。
本稿では,従来のトピックモデリング手法を統合したフレキシブルアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 9.539646729556793
- License:
- Abstract: Topic modeling is traditionally applied to word counts without accounting for the context in which words appear. Recent advancements in large language models (LLMs) offer contextualized word embeddings, which capture deeper meaning and relationships between words. We aim to leverage such embeddings to improve topic modeling. We use a pre-trained LLM to convert each document into a sequence of word embeddings. This sequence is then modeled as a Poisson point process, with its intensity measure expressed as a convex combination of $K$ base measures, each corresponding to a topic. To estimate these topics, we propose a flexible algorithm that integrates traditional topic modeling methods, enhanced by net-rounding applied before and kernel smoothing applied after. One advantage of this framework is that it treats the LLM as a black box, requiring no fine-tuning of its parameters. Another advantage is its ability to seamlessly integrate any traditional topic modeling approach as a plug-in module, without the need for modifications Assuming each topic is a $\beta$-H\"{o}lder smooth intensity measure on the embedded space, we establish the rate of convergence of our method. We also provide a minimax lower bound and show that the rate of our method matches with the lower bound when $\beta\leq 1$. Additionally, we apply our method to several datasets, providing evidence that it offers an advantage over traditional topic modeling approaches.
- Abstract（参考訳）: トピックモデリングは、伝統的に単語が現れる文脈を考慮せずに、単語数に適用される。
大規模言語モデル(LLM)の最近の進歩は、文脈化された単語埋め込みを提供し、単語間の深い意味と関係を捉えている。
このような埋め込みを活用してトピックモデリングを改善することを目指している。
事前学習したLLMを用いて、各文書を単語埋め込みのシーケンスに変換する。
この列はポアソン点過程としてモデル化され、その強度測度は、それぞれトピックに対応する$K$基底測度の凸結合として表される。
これらのトピックを推定するために,従来のトピックモデリング手法を統合したフレキシブルアルゴリズムを提案する。
このフレームワークの利点の1つは、LCMをブラックボックスとして扱い、パラメータを微調整する必要がなくなることである。
もう一つの利点は、プラグインモジュールとして従来のトピックモデリングアプローチをシームレスに統合する能力である。各トピックが$\beta$-H\"{o}lderスムーズな強度測定値であると仮定すると、我々の手法の収束率を確立する。
また、minimaxlowboundを提供し、$\beta\leq 1$のとき、メソッドのレートがlowboundと一致することを示す。
さらに,本手法をいくつかのデータセットに適用し,従来のトピックモデリング手法よりも有利であることを示す。
関連論文リスト
- LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。
提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-04T01:28:56Z) - Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms [6.349503549199403]
本研究は,トピック抽出プロセスのための革新的エンド・ツー・エンドのセマンティクス駆動トピックモデリング手法を提案する。
本モデルは,事前学習したトランスフォーマーベース言語モデルを用いて文書埋め込みを生成する。
ChatGPTや従来のトピックモデリングアルゴリズムと比較して、我々のモデルはより一貫性があり有意義なトピックを提供する。
論文 参考訳（メタデータ） (2024-09-30T18:15:31Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Prompt Mixing in Diffusion Models using the Black Scholes Algorithm [57.03116054807942]
本稿では,複数のテキストプロンプトの交わりで画像を生成することを目的とした,プロンプトミキシングのための新しいアプローチを提案する。
我々は、金融の価格設定に、拡散モデルとブラック・スコイルズ・モデルとの接続を利用する。
我々のプロンプトミキシングアルゴリズムはデータ効率が良いので、追加のトレーニングは必要ない。
論文 参考訳（メタデータ） (2024-05-22T14:25:57Z) - Efficient and Flexible Topic Modeling using Pretrained Embeddings and
Bag of Sentences [1.8592384822257952]
本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。
我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。
The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
論文 参考訳（メタデータ） (2023-02-06T20:13:11Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - Early Stage LM Integration Using Local and Global Log-Linear Combination [46.91755970827846]
暗黙のアライメント機構を持つシーケンス対シーケンスモデル(例えば注意)は、従来のハイブリッド隠れマルコフモデル(HMM)に対するパフォーマンスギャップを埋めている。
両方のケースで単語エラー率を改善する重要な要因は、大きなテキストのみのコーパスでトレーニングされた外部言語モデル(LM)を使用することである。
暗黙アライメントに基づくシーケンス・ツー・シーケンスモデルに言語モデルを統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-05-20T13:49:55Z) - VSEC-LDA: Boosting Topic Modeling with Embedded Vocabulary Selection [20.921010767231923]
VSEC-LDA(Vocabulary-Embedded Correspondence-LDA)と呼ばれるトピックモデリングの新しいアプローチを提案する。
VSEC-LDAは、最も関連性の高い単語を同時に選択しながら、潜在モデルを学習する。
単語の選択は、下層のモデルに対する単語の相対的寄与を測定するエントロピーに基づく計量によって駆動される。
論文 参考訳（メタデータ） (2020-01-15T22:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。