論文の概要: Analysis and tuning of hierarchical topic models based on Renyi entropy approach

• arxiv url: http://arxiv.org/abs/2101.07598v1
• Date: Tue, 19 Jan 2021 12:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:30:20.637772
• Title: Analysis and tuning of hierarchical topic models based on Renyi entropy approach
• Title（参考訳）: Renyiエントロピーアプローチに基づく階層型トピックモデルの解析とチューニング
• Authors: Sergei Koltcov, Vera Ignatenko, Maxim Terpilovskii, Paolo Rosso
• Abstract要約: 階層レベルのトピック数を含む階層モデルのパラメータのチューニングは、依然として困難な課題である。 本稿では,Renyi entropy-based approach for a part solution to the above problemを提案する。
• 参考スコア（独自算出の注目度）: 5.487882744996213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical topic modeling is a potentially powerful instrument for determining the topical structure of text collections that allows constructing a topical hierarchy representing levels of topical abstraction. However, tuning of parameters of hierarchical models, including the number of topics on each hierarchical level, remains a challenging task and an open issue. In this paper, we propose a Renyi entropy-based approach for a partial solution to the above problem. First, we propose a Renyi entropy-based metric of quality for hierarchical models. Second, we propose a practical concept of hierarchical topic model tuning tested on datasets with human mark-up. In the numerical experiments, we consider three different hierarchical models, namely, hierarchical latent Dirichlet allocation (hLDA) model, hierarchical Pachinko allocation model (hPAM), and hierarchical additive regularization of topic models (hARTM). We demonstrate that hLDA model possesses a significant level of instability and, moreover, the derived numbers of topics are far away from the true numbers for labeled datasets. For hPAM model, the Renyi entropy approach allows us to determine only one level of the data structure. For hARTM model, the proposed approach allows us to estimate the number of topics for two hierarchical levels.
• Abstract（参考訳）: 階層的トピックモデリングは、トピック抽象化のレベルを表すトピック階層の構築を可能にするテキストコレクションのトピック構造を決定するための潜在的に強力な手段である。 しかしながら、各階層レベルのトピック数を含む階層モデルのパラメータのチューニングは、依然として課題であり、未解決な課題である。 本稿では,上記の問題に対する部分解に対するrenyiエントロピーに基づくアプローチを提案する。 まず,階層モデルにおけるrenyiエントロピーに基づく品質指標を提案する。 第2に,人間マークアップを用いたデータセット上での階層的トピックモデルのチューニングの実用概念を提案する。 数値実験では,階層的潜在ディリクレ割当(hlda)モデル,階層的パチンコ割当モデル(hpam),話題モデルの階層的加法正規化(hartm)という3つの異なる階層モデルを検討した。 我々は、hLDAモデルが不安定なレベルをかなり有しており、さらに、ラベル付きデータセットの真数から派生したトピックの数が遠ざかっていることを実証する。 hPAMモデルでは、Renyiエントロピーアプローチにより、データ構造の1つのレベルのみを決定できる。 hartmモデルでは,提案手法により2つの階層レベルでトピック数を推定できる。

関連論文リスト

• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• The Geometric Structure of Topic Models [0.0]
  研究や応用に広く利用されているにもかかわらず、トピックモデルの詳細な分析は依然としてオープンな研究トピックである。 平坦なトピックモデルから順序構造を導出する入射幾何学的手法を提案する。 規則的モチーフに基づく概念階層のための新しい可視化パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T10:53:51Z)
• Learning Hierarchical Features with Joint Latent Space Energy-Based Prior [44.4434704520236]
  階層表現学習における多層ジェネレータモデルの基本的問題について検討する。 実効的階層型表現学習のための多層潜在変数を用いた有意な潜在空間EMM事前モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-14T15:44:14Z)
• HyHTM: Hyperbolic Geometry based Hierarchical Topic Models [9.583526547108349]
  階層的トピックモデル(HTM)は、文書コレクション内のトピック階層を発見するのに有用である。 双曲幾何学に基づく階層的トピックモデルHyHTMを提案する。
  論文  参考訳（メタデータ） (2023-05-16T08:06:11Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• CoPHE: A Count-Preserving Hierarchical Evaluation Metric in Large-Scale Multi-Label Text Classification [70.554573538777]
  ニューラルLMTCモデルの予測の階層的評価について論じる。 先行技術における構造化ラベル空間の表現における構造的問題について述べる。 深度に基づく表現を用いた階層的評価のための指標セットを提案する。
  論文  参考訳（メタデータ） (2021-09-10T13:09:12Z)
• Learning deep autoregressive models for hierarchical data [0.6445605125467573]
  時間的畳み込みネットワーク(STCN)の拡張として,階層構造化データのモデルを提案する。 提案したモデルは,音声と手書きの2種類の連続データを用いて評価する。
  論文  参考訳（メタデータ） (2021-04-28T15:58:45Z)
• Hierarchical Representation via Message Propagation for Robust Model Fitting [28.03005930782681]
  堅牢なモデルフィッティングのためのメッセージ伝搬(HRMP)法による新しい階層表現を提案する。 コンセンサス情報と選好情報を階層的表現として定式化し、粗悪な外れ値に対する感度を緩和する。 提案するhrmpは,複数のモデルインスタンスの数とパラメータを正確に推定するだけでなく,多数の異常値で汚染されたマルチストラクショナルデータを処理できる。
  論文  参考訳（メタデータ） (2020-12-29T04:14:19Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。