論文の概要: FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model

• arxiv url: http://arxiv.org/abs/2405.17978v2
• Date: Sat, 26 Oct 2024 12:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:34.120831
• Title: FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
• Title（参考訳）: FASTopic:Pretrained Transformerは、高速で適応的で、安定で、転送可能なトピックモデル
• Authors: Xiaobao Wu, Thong Nguyen, Delvin Ce Zhang, William Yang Wang, Anh Tuan Luu,
• Abstract要約: 本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。 我々はDSR(Dual Semantic-Relation Reconstruction)を用いて潜在トピックをモデル化する。 また, セマンティック関係を最適輸送計画として正規化するためのETP(Embedding Transport Plan)を提案する。
• 参考スコア（独自算出の注目度）: 76.509837704596
• License:
• Abstract: Topic models have been evolving rapidly over the years, from conventional to recent neural models. However, existing topic models generally struggle with either effectiveness, efficiency, or stability, highly impeding their practical applications. In this paper, we propose FASTopic, a fast, adaptive, stable, and transferable topic model. FASTopic follows a new paradigm: Dual Semantic-relation Reconstruction (DSR). Instead of previous conventional, VAE-based, or clustering-based methods, DSR directly models the semantic relations among document embeddings from a pretrained Transformer and learnable topic and word embeddings. By reconstructing through these semantic relations, DSR discovers latent topics. This brings about a neat and efficient topic modeling framework. We further propose a novel Embedding Transport Plan (ETP) method. Rather than early straightforward approaches, ETP explicitly regularizes the semantic relations as optimal transport plans. This addresses the relation bias issue and thus leads to effective topic modeling. Extensive experiments on benchmark datasets demonstrate that our FASTopic shows superior effectiveness, efficiency, adaptivity, stability, and transferability, compared to state-of-the-art baselines across various scenarios.
• Abstract（参考訳）: トピックモデルは、従来のニューラルネットワークモデルから最近のニューラルネットワークモデルまで、長年にわたって急速に進化してきた。 しかし、既存のトピックモデルは、一般的に有効性、効率性、安定性のいずれかに苦しむため、実践的な応用を非常に妨げている。 本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。 FASTopic は新たなパラダイムである Dual Semantic-Relation Reconstruction (DSR) に従う。 従来のVAEベースのクラスタリングベースの手法の代わりに、DSRは事前訓練されたトランスフォーマーと学習可能なトピックと単語の埋め込みからの文書埋め込み間の意味関係を直接モデル化する。 これらの意味関係を再構築することで、DSRは潜在トピックを発見する。 これにより、きれいで効率的なトピックモデリングフレームワークが生まれます。 さらに,新しいEmbedding Transport Plan (ETP) 手法を提案する。 初期の単純なアプローチではなく、ETPはセマンティックな関係を最適な輸送計画として明確に規則化している。 これは関係バイアスの問題に対処し、効果的なトピックモデリングにつながる。 ベンチマークデータセットの大規模な実験により、FASTopicは様々なシナリオにおける最先端のベースラインと比較して、優れた効率性、効率性、適応性、安定性、転送性を示します。

関連論文リスト

• Meta-Learning Adaptable Foundation Models [37.458141335750696]
  本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。 この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。 次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Robust Traffic Forecasting against Spatial Shift over Years [11.208740750755025]
  新たに提案したトラフィックOODベンチマークを用いて,時空間技術モデルについて検討する。 これらのモデルのパフォーマンスが著しく低下していることが分かりました。 そこで我々は,学習中にグラフ生成器の集合を学習し,それらを組み合わせて新しいグラフを生成するMixture Expertsフレームワークを提案する。 我々の手法は相似的かつ有効であり、任意の時間モデルにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-10-01T03:49:29Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
  トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。 このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。 実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T14:27:29Z)
• Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
  モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。 提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
  論文  参考訳（メタデータ） (2023-07-21T03:43:07Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)
• Non-autoregressive Transformer-based End-to-end ASR using BERT [13.07939371864781]
  本稿では、BERTに基づく変換器に基づくエンドツーエンド自動音声認識(ASR)モデルを提案する。 AISHELL-1データセットで実施された一連の実験は、競争力または優れた結果を示している。
  論文  参考訳（メタデータ） (2021-04-10T16:22:17Z)
• Neural Topic Model via Optimal Transport [24.15046280736009]
  最適輸送理論(OT)を用いたニューラルトピックモデルを提案する。 具体的には、文書の単語分布に対するOT距離を直接最小化し、文書の話題分布を学習することを提案する。 提案手法は, 異なる損失を伴って効率的に学習することができる。
  論文  参考訳（メタデータ） (2020-08-12T06:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。