論文の概要: Continual Neural Topic Model

• arxiv url: http://arxiv.org/abs/2508.15612v1
• Date: Thu, 21 Aug 2025 14:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.367298
• Title: Continual Neural Topic Model
• Title（参考訳）: 連続神経トピックモデル
• Authors: Charu Karakkaparambil James, Waleed Mustafa, Marius Kloft, Sophie Fellenz,
• Abstract要約: 継続的な学習では、以前に学んだことを忘れずに新しいタスクを学習することを目的としている。 本研究では,これまでに何を学んだかを忘れずに連続的にトピックモデルを学習する連続ニューラルトピックモデル(Continuous Neural Topic Model,CoNTM)を提案する。
• 参考スコア（独自算出の注目度）: 24.223299395803224
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In continual learning, our aim is to learn a new task without forgetting what was learned previously. In topic models, this translates to learning new topic models without forgetting previously learned topics. Previous work either considered Dynamic Topic Models (DTMs), which learn the evolution of topics based on the entire training corpus at once, or Online Topic Models, which are updated continuously based on new data but do not have long-term memory. To fill this gap, we propose the Continual Neural Topic Model (CoNTM), which continuously learns topic models at subsequent time steps without forgetting what was previously learned. This is achieved using a global prior distribution that is continuously updated. In our experiments, CoNTM consistently outperformed the dynamic topic model in terms of topic quality and predictive perplexity while being able to capture topic changes online. The analysis reveals that CoNTM can learn more diverse topics and better capture temporal changes than existing methods.
• Abstract（参考訳）: 継続的な学習では、以前に学んだことを忘れずに新しいタスクを学習することを目的としている。 トピックモデルでは、これは、以前に学んだトピックを忘れずに、新しいトピックモデルを学ぶことを意味する。 これまでの研究では、トレーニングコーパス全体に基づいてトピックの進化を一度に学習するDynamic Topic Models (DTM) や、新しいデータに基づいて継続的に更新されるが、長期記憶を持たない Online Topic Models も検討されていた。 このギャップを埋めるために,これまでに何を学んだかを忘れずに連続的にトピックモデルを学習するContinuous Neural Topic Model (CoNTM)を提案する。 これは、継続的に更新されるグローバルな事前分布を使用して達成される。 実験では,トピックの変化をオンラインで捉えながら,トピックの品質と予測的難易度の観点から,動的トピックモデルよりも一貫して優れていた。 この分析によると、CoNTMは既存の手法よりも多様なトピックを学習し、時間的変化を捉えることができる。

関連論文リスト

• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Iterative Improvement of an Additively Regularized Topic Model [0.0]
  本稿では,トピックモデルの反復的学習法を提案する。 いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T18:22:12Z)
• Enhancing Continual Learning in Visual Question Answering with Modality-Aware Feature Distillation [48.071162716120334]
  入力のマルチモーダルな性質がモデルの学習力学に与える影響について検討する。 本研究の目的は, モダリティ対応型特徴蒸留 (MAFED) 方式を提案することである。
  論文  参考訳（メタデータ） (2024-06-27T16:12:57Z)
• ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics [1.854328133293073]
  本稿では、アラインドニューラルトピックモデル(ANTM)と呼ばれる動的トピックモデルのアルゴリズム系を提案する。 ANTMは、新しいデータマイニングアルゴリズムを組み合わせて、進化するトピックを発見するためのモジュラーフレームワークを提供する。 Pythonパッケージは、大規模テキストデータにおけるトピックのトレンドと進化パターンを研究したい研究者や科学者のために開発されている。
  論文  参考訳（メタデータ） (2023-02-03T02:31:12Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Continual Learning Using Multi-view Task Conditional Neural Networks [6.27221711890162]
  従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。 再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
  論文  参考訳（メタデータ） (2020-05-08T01:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。