論文の概要: Neural Topic Modeling with Continual Lifelong Learning

• arxiv url: http://arxiv.org/abs/2006.10909v2
• Date: Tue, 27 Jun 2023 05:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 18:24:12.734720
• Title: Neural Topic Modeling with Continual Lifelong Learning
• Title（参考訳）: 連続学習を用いたニューラルトピックモデリング
• Authors: Pankaj Gupta and Yatin Chaudhary and Thomas Runkler and Hinrich Sch\"utze
• Abstract要約: ニューラルトピックモデリングのための生涯学習フレームワークを提案する。 ドキュメントコレクションのストリームを処理し、トピックを蓄積し、将来のトピックモデリングタスクをガイドすることができる。 パープレキシティ、トピックコヒーレンス、情報検索タスクによって定量化された性能向上を示す。
• 参考スコア（独自算出の注目度）: 19.969393484927252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning has recently attracted attention in building machine learning systems that continually accumulate and transfer knowledge to help future learning. Unsupervised topic modeling has been popularly used to discover topics from document collections. However, the application of topic modeling is challenging due to data sparsity, e.g., in a small collection of (short) documents and thus, generate incoherent topics and sub-optimal document representations. To address the problem, we propose a lifelong learning framework for neural topic modeling that can continuously process streams of document collections, accumulate topics and guide future topic modeling tasks by knowledge transfer from several sources to better deal with the sparse data. In the lifelong process, we particularly investigate jointly: (1) sharing generative homologies (latent topics) over lifetime to transfer prior knowledge, and (2) minimizing catastrophic forgetting to retain the past learning via novel selective data augmentation, co-training and topic regularization approaches. Given a stream of document collections, we apply the proposed Lifelong Neural Topic Modeling (LNTM) framework in modeling three sparse document collections as future tasks and demonstrate improved performance quantified by perplexity, topic coherence and information retrieval task.
• Abstract（参考訳）: 生涯学習は最近、将来の学習を支援するために知識の蓄積と伝達を継続的に行う機械学習システムの構築に注目を集めている。 教師なしトピックモデリングは、文書コレクションからトピックを発見するのに広く使われている。 しかし、トピックモデリングの応用は、例えば(短い)ドキュメントの小さなコレクションにおいて、データのスパーシティのために困難であり、従って、非一貫性なトピックと副最適ドキュメント表現を生成する。 そこで本研究では,複数の情報源からの知識の伝達により,文書コレクションのストリームを連続的に処理し,トピックを蓄積し,将来的なトピックモデリングタスクを導く神経話題モデリングのための生涯学習フレームワークを提案する。 生涯のプロセスにおいて,(1)生涯にわたって生成的ホモロジー(相対的話題)を共有し,(2)新しい選択的データ拡張,共同学習,話題規則化アプローチによって過去の学習を保ち続けるような破滅的な学習を最小化すること,の2つを共同で研究した。 文書コレクションのストリームを前提として、3つの疎疎な文書コレクションを将来のタスクとしてモデル化し、パープレキシティ、トピックコヒーレンス、情報検索タスクによって定量化されたパフォーマンス向上を示す。

関連論文リスト

• Embedded Topic Models Enhanced by Wikification [3.082729239227955]
  ウィキペディアの知識をニューラルトピックモデルに組み込んで、名前付きエンティティを認識する。 実験により,本手法は一般化可能性において,ニューラルトピックモデルの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-03T12:39:14Z)
• Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
  本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。 トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。 提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
  論文  参考訳（メタデータ） (2024-09-28T19:45:45Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling [29.87929724277381]
  短いテキストでは、共起情報は最小限であり、結果として文書表現の特徴が分散する。 既存のトピックモデル(確率的あるいは神経的)は、ほとんどの場合、一貫性のあるトピックを生成するためにパターンのマイニングに失敗します。 既存の事前学習言語モデル(PLM)を用いて、短いテキストを長いシーケンスに拡張する。
  論文  参考訳（メタデータ） (2023-10-24T00:23:30Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Embedding Knowledge for Document Summarization: A Survey [66.76415502727802]
  従来の研究は、知識を組み込んだ文書要約器が優れた消化器を生成するのに優れていたことを証明した。 本稿では,文書要約ビューに基づいて,知識と知識の埋め込みを再カプセル化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-24T04:36:07Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• Topic-Guided Abstractive Multi-Document Summarization [21.856615677793243]
  多文書要約(MDS)の重要なポイントは、様々な文書間の関係を学習することである。 異種グラフとして複数の文書を表現できる新しい抽象MDSモデルを提案する。 我々は、クロスドキュメントセマンティックユニットとして機能する潜在トピックを共同で発見するために、ニューラルトピックモデルを採用している。
  論文  参考訳（メタデータ） (2021-10-21T15:32:30Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。