Fugu-MT 論文翻訳(概要): DiffETM: Diffusion Process Enhanced Embedded Topic Model

論文の概要: DiffETM: Diffusion Process Enhanced Embedded Topic Model

arxiv url: http://arxiv.org/abs/2501.00862v1
Date: Wed, 01 Jan 2025 15:15:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-05 17:17:50.233400
Title: DiffETM: Diffusion Process Enhanced Embedded Topic Model
Title（参考訳）: DiffETM: 拡散プロセス強化組込みトピックモデル
Authors: Wei Shao, Mingyang Liu, Linqi Song,
Abstract要約: 組込みトピックモデル(ETM)は、サンプル化された文書トピック分布がロジスティック正規分布に適合し、容易に最適化できると仮定する。文書トピック分布のサンプリングプロセスに拡散過程を導入し,この制限を克服する手法を提案する。提案手法は,2つの主流データセットに対する広範な実験により検証され,トピックモデリングの性能向上に有効であることが証明された。
参考スコア（独自算出の注目度）: 16.301672926021087
License:
Abstract: The embedded topic model (ETM) is a widely used approach that assumes the sampled document-topic distribution conforms to the logistic normal distribution for easier optimization. However, this assumption oversimplifies the real document-topic distribution, limiting the model's performance. In response, we propose a novel method that introduces the diffusion process into the sampling process of document-topic distribution to overcome this limitation and maintain an easy optimization process. We validate our method through extensive experiments on two mainstream datasets, proving its effectiveness in improving topic modeling performance.
Abstract（参考訳）: 組込みトピックモデル(ETM)は、サンプル化された文書トピック分布がロジスティック正規分布に準拠していると仮定し、最適化を容易にするために広く用いられるアプローチである。しかし、この仮定は実際のドキュメントトピック分布を単純化し、モデルの性能を制限します。そこで本研究では,この制限を克服し,簡単な最適化プロセスを維持するために,文書トピック分布のサンプリングプロセスに拡散過程を導入する手法を提案する。提案手法は,2つの主流データセットに対する広範な実験により検証され,トピックモデリングの性能向上に有効であることが証明された。

関連論文リスト

Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
論文参考訳（メタデータ） (2024-10-25T10:23:34Z)
MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
Multi-Output Distributional Fairness via Post-Processing [47.94071156898198]
本稿では,タスクに依存しない公平度尺度である分散パリティを高めるために,マルチ出力モデルに対する後処理手法を提案する。提案手法では, モデル出力を実験的なワッサーシュタインバリセンタへ移動させるため, 最適トランスポートマッピングを用いる。
論文参考訳（メタデータ） (2024-08-31T22:41:26Z)
FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。提案手法はSOTA法よりも10倍高速である。
論文参考訳（メタデータ） (2024-07-28T10:07:55Z)
Transfer Learning for Diffusion Models [43.10840361752551]
拡散モデルは高品質な合成サンプルを一貫して生成する。コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
論文参考訳（メタデータ） (2024-05-27T06:48:58Z)
Implicit Diffusion: Efficient Optimization through Stochastic Sampling [46.049117719591635]
パラメータ化拡散により暗黙的に定義された分布を最適化するアルゴリズムを提案する。本稿では,これらのプロセスの1次最適化のための一般的なフレームワークについて紹介する。エネルギーベースモデルのトレーニングや拡散の微調整に応用する。
論文参考訳（メタデータ） (2024-02-08T08:00:11Z)
Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
論文参考訳（メタデータ） (2023-11-01T11:52:41Z)
Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
論文参考訳（メタデータ） (2023-06-14T14:22:22Z)
Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文参考訳（メタデータ） (2023-01-19T09:48:07Z)
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文参考訳（メタデータ） (2022-10-23T01:33:16Z)
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。