論文の概要: Improving Neural Topic Models using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2010.02377v1
• Date: Mon, 5 Oct 2020 22:49:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:06:11.243744
• Title: Improving Neural Topic Models using Knowledge Distillation
• Title（参考訳）: 知識蒸留を用いた神経話題モデルの改善
• Authors: Alexander Hoyle, Pranav Goel, Philip Resnik
• Abstract要約: 我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
• 参考スコア（独自算出の注目度）: 84.66983329587073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic models are often used to identify human-interpretable topics to help make sense of large document collections. We use knowledge distillation to combine the best attributes of probabilistic topic models and pretrained transformers. Our modular method can be straightforwardly applied with any neural topic model to improve topic quality, which we demonstrate using two models having disparate architectures, obtaining state-of-the-art topic coherence. We show that our adaptable framework not only improves performance in the aggregate over all estimated topics, as is commonly reported, but also in head-to-head comparisons of aligned topics.
• Abstract（参考訳）: トピックモデルは、大きなドキュメントコレクションを理解するのに役立つ人間の解釈可能なトピックを特定するためにしばしば使用される。 我々は知識蒸留を用いて確率的トピックモデルと事前学習されたトランスフォーマの最良の特性を組み合わせる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を改善し、異なるアーキテクチャを持つ2つのモデルを用いて、最先端のトピックコヒーレンスを得ることができることを示した。 適応可能なフレームワークは、一般的に報告されているように、すべての推定トピックに対するアグリゲーションのパフォーマンスを向上するだけでなく、アライメントされたトピックの直接比較においても向上することを示す。

関連論文リスト

• Embedded Topic Models Enhanced by Wikification [3.082729239227955]
  ウィキペディアの知識をニューラルトピックモデルに組み込んで、名前付きエンティティを認識する。 実験により,本手法は一般化可能性において,ニューラルトピックモデルの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-03T12:39:14Z)
• Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
  本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。 トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。 提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
  論文  参考訳（メタデータ） (2024-09-28T19:45:45Z)
• Iterative Improvement of an Additively Regularized Topic Model [0.0]
  本稿では,トピックモデルの反復的学習法を提案する。 いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T18:22:12Z)
• GINopic: Topic Modeling with Graph Isomorphism Network [0.8962460460173959]
  本稿では,グラフ同型ネットワークに基づく話題モデリングフレームワークGINopicを紹介し,単語間の相関関係を捉える。 本稿では,既存のトピックモデルと比較してGINopicの有効性を実証し,トピックモデリングの進歩の可能性を明らかにする。
  論文  参考訳（メタデータ） (2024-04-02T17:18:48Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• SEEK: Segmented Embedding of Knowledge Graphs [77.5307592941209]
  本稿では,モデル複雑性を増大させることなく,高い競争力を持つ関係表現性を実現する軽量なモデリングフレームワークを提案する。 本フレームワークは,評価関数の設計に重点を置いており,1)十分な特徴相互作用の促進,2)関係の対称性と反対称性の両特性の保存,という2つの重要な特徴を強調している。
  論文  参考訳（メタデータ） (2020-05-02T15:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。