論文の概要: Analysis and tuning of hierarchical topic models based on Renyi entropy approach

• arxiv url: http://arxiv.org/abs/2101.07598v1
• Date: Tue, 19 Jan 2021 12:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:30:20.637772
• Title: Analysis and tuning of hierarchical topic models based on Renyi entropy approach
• Title（参考訳）: Renyiエントロピーアプローチに基づく階層型トピックモデルの解析とチューニング
• Authors: Sergei Koltcov, Vera Ignatenko, Maxim Terpilovskii, Paolo Rosso
• Abstract要約: 階層レベルのトピック数を含む階層モデルのパラメータのチューニングは、依然として困難な課題である。 本稿では,Renyi entropy-based approach for a part solution to the above problemを提案する。
• 参考スコア（独自算出の注目度）: 5.487882744996213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical topic modeling is a potentially powerful instrument for determining the topical structure of text collections that allows constructing a topical hierarchy representing levels of topical abstraction. However, tuning of parameters of hierarchical models, including the number of topics on each hierarchical level, remains a challenging task and an open issue. In this paper, we propose a Renyi entropy-based approach for a partial solution to the above problem. First, we propose a Renyi entropy-based metric of quality for hierarchical models. Second, we propose a practical concept of hierarchical topic model tuning tested on datasets with human mark-up. In the numerical experiments, we consider three different hierarchical models, namely, hierarchical latent Dirichlet allocation (hLDA) model, hierarchical Pachinko allocation model (hPAM), and hierarchical additive regularization of topic models (hARTM). We demonstrate that hLDA model possesses a significant level of instability and, moreover, the derived numbers of topics are far away from the true numbers for labeled datasets. For hPAM model, the Renyi entropy approach allows us to determine only one level of the data structure. For hARTM model, the proposed approach allows us to estimate the number of topics for two hierarchical levels.
• Abstract（参考訳）: 階層的トピックモデリングは、トピック抽象化のレベルを表すトピック階層の構築を可能にするテキストコレクションのトピック構造を決定するための潜在的に強力な手段である。 しかしながら、各階層レベルのトピック数を含む階層モデルのパラメータのチューニングは、依然として課題であり、未解決な課題である。 本稿では,上記の問題に対する部分解に対するrenyiエントロピーに基づくアプローチを提案する。 まず,階層モデルにおけるrenyiエントロピーに基づく品質指標を提案する。 第2に,人間マークアップを用いたデータセット上での階層的トピックモデルのチューニングの実用概念を提案する。 数値実験では,階層的潜在ディリクレ割当(hlda)モデル,階層的パチンコ割当モデル(hpam),話題モデルの階層的加法正規化(hartm)という3つの異なる階層モデルを検討した。 我々は、hLDAモデルが不安定なレベルをかなり有しており、さらに、ラベル付きデータセットの真数から派生したトピックの数が遠ざかっていることを実証する。 hPAMモデルでは、Renyiエントロピーアプローチにより、データ構造の1つのレベルのみを決定できる。 hartmモデルでは,提案手法により2つの階層レベルでトピック数を推定できる。

関連論文リスト

• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• An Ample Approach to Data and Modeling [1.0152838128195467]
  さまざまな分野の概念とメソッドを統合するモデルの構築方法をモデル化するためのフレームワークについて説明する。 参照M*メタモデルフレームワークは、厳密な同値関係の観点からデータセットと各モデルの関連付けに批判的に依存する。 開発されたフレームワークがデータクラスタリング、複雑性、共同研究、ディープラーニング、クリエイティビティに関する洞察を提供する方法について、いくつかの考察がなされている。
  論文  参考訳（メタデータ） (2021-10-05T01:26:09Z)
• CoPHE: A Count-Preserving Hierarchical Evaluation Metric in Large-Scale Multi-Label Text Classification [70.554573538777]
  ニューラルLMTCモデルの予測の階層的評価について論じる。 先行技術における構造化ラベル空間の表現における構造的問題について述べる。 深度に基づく表現を用いた階層的評価のための指標セットを提案する。
  論文  参考訳（メタデータ） (2021-09-10T13:09:12Z)
• A Topological-Framework to Improve Analysis of Machine Learning Model Performance [5.3893373617126565]
  本稿では、データセットをモデルが動作する「空間」として扱う機械学習モデルを評価するためのフレームワークを提案する。 本稿では,各サブポピュレーション間でのモデル性能の保存と解析に有用なトポロジカルデータ構造であるプレシーブについて述べる。
  論文  参考訳（メタデータ） (2021-07-09T23:11:13Z)
• Attentional Prototype Inference for Few-Shot Semantic Segmentation [114.74344993331196]
  数ショットセマンティックセグメンテーションのための確率的潜時変数フレームワークである注目プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は3つのベンチマークについて広範な実験を行い,提案手法は最先端手法よりも,少なくとも競争性が高く,しばしば優れた性能を得る。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Learning deep autoregressive models for hierarchical data [0.6445605125467573]
  時間的畳み込みネットワーク(STCN)の拡張として,階層構造化データのモデルを提案する。 提案したモデルは,音声と手書きの2種類の連続データを用いて評価する。
  論文  参考訳（メタデータ） (2021-04-28T15:58:45Z)
• Polynomial Networks in Deep Classifiers [55.90321402256631]
  我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。 私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。 提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-04-16T06:41:20Z)
• Hierarchical Representation via Message Propagation for Robust Model Fitting [28.03005930782681]
  堅牢なモデルフィッティングのためのメッセージ伝搬(HRMP)法による新しい階層表現を提案する。 コンセンサス情報と選好情報を階層的表現として定式化し、粗悪な外れ値に対する感度を緩和する。 提案するhrmpは,複数のモデルインスタンスの数とパラメータを正確に推定するだけでなく,多数の異常値で汚染されたマルチストラクショナルデータを処理できる。
  論文  参考訳（メタデータ） (2020-12-29T04:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。