論文の概要: HTMOT : Hierarchical Topic Modelling Over Time

• arxiv url: http://arxiv.org/abs/2112.03104v1
• Date: Mon, 22 Nov 2021 11:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-12 15:17:34.901012
• Title: HTMOT : Hierarchical Topic Modelling Over Time
• Title（参考訳）: HTMOT : 時間的階層的トピックモデリング
• Authors: Judicael Poumay, Ashwin Ittoo
• Abstract要約: 本稿では,階層的話題モデリングを行うための新しい手法であるHTMOTを提案する。 時間モデリングを深層サブトピックに適用するだけで、特定のストーリーやイベントを抽出できることを示す。 以上の結果から,トレーニング手順は高速で,高精度なトピックと時間的高精度なサブトピックを抽出できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Over the years, topic models have provided an efficient way of extracting insights from text. However, while many models have been proposed, none are able to model topic temporality and hierarchy jointly. Modelling time provide more precise topics by separating lexically close but temporally distinct topics while modelling hierarchy provides a more detailed view of the content of a document corpus. In this study, we therefore propose a novel method, HTMOT, to perform Hierarchical Topic Modelling Over Time. We train HTMOT using a new implementation of Gibbs sampling, which is more efficient. Specifically, we show that only applying time modelling to deep sub-topics provides a way to extract specific stories or events while high level topics extract larger themes in the corpus. Our results show that our training procedure is fast and can extract accurate high-level topics and temporally precise sub-topics. We measured our model's performance using the Word Intrusion task and outlined some limitations of this evaluation method, especially for hierarchical models. As a case study, we focused on the various developments in the space industry in 2020.
• Abstract（参考訳）: 長年にわたり、トピックモデルはテキストから洞察を抽出する効率的な方法を提供してきた。 しかし、多くのモデルが提案されているが、トピックの時間性と階層を共同でモデル化することはできない。 モデリング時間は、語彙的に近いが時間的に異なるトピックを分離することでより正確なトピックを提供する一方、モデリング階層は、ドキュメントコーパスの内容のより詳細なビューを提供する。 そこで本研究では,時間とともに階層的トピックモデリングを行う新しい手法であるhtmotを提案する。 我々は、より効率的なギブスサンプリングの新たな実装を用いてHTMOTを訓練する。 具体的には、深いサブトピックに時間モデルを適用するだけで、特定のストーリーやイベントを抽出でき、上位のトピックはコーパス内のより大きなテーマを抽出できる。 以上の結果から,訓練手順は高速であり,高精度な高レベルトピックと時間的精密なサブトピックを抽出できることがわかった。 我々は,単語侵入タスクを用いてモデルの性能を測定し,この評価手法の限界,特に階層モデルについて概説した。 事例研究として,2020年における宇宙産業の様々な展開に注目した。

関連論文リスト

• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Embedded Topic Models Enhanced by Wikification [3.082729239227955]
  ウィキペディアの知識をニューラルトピックモデルに組み込んで、名前付きエンティティを認識する。 実験により,本手法は一般化可能性において,ニューラルトピックモデルの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-03T12:39:14Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Iterative Improvement of an Additively Regularized Topic Model [0.0]
  本稿では,トピックモデルの反復的学習法を提案する。 いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T18:22:12Z)
• Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling [29.87929724277381]
  短いテキストでは、共起情報は最小限であり、結果として文書表現の特徴が分散する。 既存のトピックモデル(確率的あるいは神経的)は、ほとんどの場合、一貫性のあるトピックを生成するためにパターンのマイニングに失敗します。 既存の事前学習言語モデル(PLM)を用いて、短いテキストを長いシーケンスに拡張する。
  論文  参考訳（メタデータ） (2023-10-24T00:23:30Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Temporal Relevance Analysis for Video Action Models [70.39411261685963]
  まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。 次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
  論文  参考訳（メタデータ） (2022-04-25T19:06:48Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• A Comprehensive Study on Temporal Modeling for Online Action Detection [50.558313106389335]
  オンライン行動検出(OAD)は実用的だが難しい課題であり、近年注目を集めている。 本稿では,4種類の時間的モデリング手法を含むOADの時間的モデリングに関する総合的研究を提案する。 本稿では,THUMOS-14 と TVSeries に対して,近年の最先端手法よりも大きなマージンを有するハイブリッド時間モデルを提案する。
  論文  参考訳（メタデータ） (2020-01-21T13:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。