論文の概要: Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network

• arxiv url: http://arxiv.org/abs/2107.02757v1
• Date: Wed, 30 Jun 2021 10:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-11 11:37:35.627483
• Title: Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network
• Title（参考訳）: Gamma Belief NetworkをガイドしたSawtooth Factorial Topic Embeddings
• Authors: Zhibin Duan, Dongsheng Wang, Bo Chen, Chaojie Wang, Wenchao Chen, Yewen Li, Jie Ren, Mingyuan Zhou
• Abstract要約: 本稿では,文書の深部生成モデルであるGBNのソートゥース要素埋め込みについて述べる。 単語も話題も同じ次元の埋め込みベクトルとして表現される。 我々のモデルは、より深い解釈可能なトピックを抽出する他のニューラルネットワークモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 49.458250193768826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical topic models such as the gamma belief network (GBN) have delivered promising results in mining multi-layer document representations and discovering interpretable topic taxonomies. However, they often assume in the prior that the topics at each layer are independently drawn from the Dirichlet distribution, ignoring the dependencies between the topics both at the same layer and across different layers. To relax this assumption, we propose sawtooth factorial topic embedding guided GBN, a deep generative model of documents that captures the dependencies and semantic similarities between the topics in the embedding space. Specifically, both the words and topics are represented as embedding vectors of the same dimension. The topic matrix at a layer is factorized into the product of a factor loading matrix and a topic embedding matrix, the transpose of which is set as the factor loading matrix of the layer above. Repeating this particular type of factorization, which shares components between adjacent layers, leads to a structure referred to as sawtooth factorization. An auto-encoding variational inference network is constructed to optimize the model parameter via stochastic gradient descent. Experiments on big corpora show that our models outperform other neural topic models on extracting deeper interpretable topics and deriving better document representations.
• Abstract（参考訳）: ガンマ信念ネットワーク(GBN)のような階層的トピックモデルは、多層文書表現のマイニングや解釈可能なトピック分類の発見において有望な結果をもたらした。 しかしながら、各レイヤのトピックがディリクレ分布から独立して引き出され、同一レイヤと異なるレイヤ間のトピック間の依存関係を無視していると、前もって仮定することが多い。 この仮定を緩和するために,埋込み空間におけるトピック間の依存関係と意味的類似性を捉える,ドキュメントの深い生成モデルであるsawtooth factorial topic embedded guided gbnを提案する。 具体的には、単語とトピックの両方が同じ次元の埋め込みベクトルとして表現される。 レイヤ内のトピックマトリックスは、ファクタローディングマトリックスとトピック埋め込みマトリックスの積に分解され、その変換は、上記のレイヤのファクタローディングマトリックスとして設定される。 隣接する層間の成分を共有するこの特定の因子化を繰り返すと、ソートゥース因子化と呼ばれる構造に繋がる。 確率的勾配降下によってモデルパラメータを最適化するために、自動エンコーディング変分推論ネットワークを構築する。 大きなコーパスの実験では、より深い解釈可能なトピックの抽出とより良いドキュメント表現の導出において、私たちのモデルは他の神経話題モデルよりも優れています。

関連論文リスト

• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• The Geometric Structure of Topic Models [0.0]
  研究や応用に広く利用されているにもかかわらず、トピックモデルの詳細な分析は依然としてオープンな研究トピックである。 平坦なトピックモデルから順序構造を導出する入射幾何学的手法を提案する。 規則的モチーフに基づく概念階層のための新しい可視化パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T10:53:51Z)
• Two to Five Truths in Non-Negative Matrix Factorization [0.0]
  グラフに対する正規化ラプラシアン(NL)に着想を得たスケーリングを提案し、非負行列分解の質を大幅に向上させることができる。 マトリックススケーリングは、さまざまなデータセットのテキストトピックモデルに大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2023-05-06T14:40:20Z)
• Representing Mixtures of Word Embeddings with Mixtures of Topic Embeddings [46.324584649014284]
  トピックモデルはしばしば、文書の各単語が、一連のトピックと文書固有のトピック比に基づいてどのように生成されるかを説明する生成モデルとして定式化される。 本稿では、各文書を単語埋め込みベクトルの集合と見なし、各トピックを同じ埋め込み空間に埋め込みベクトルとしてモデル化する新しいトピックモデリングフレームワークを提案する。 同じベクトル空間に単語とトピックを埋め込み、文書の単語の埋め込みベクトルとそれらのトピックのセマンティックな差異を測る方法を定義し、すべての文書に対して期待される差を最小化するためにトピックの埋め込みを最適化する。
  論文  参考訳（メタデータ） (2022-03-03T08:46:23Z)
• Topic Analysis for Text with Side Data [18.939336393665553]
  本稿では,ニューラルネットワークと潜在トピックモデルを組み合わせたハイブリッド生成確率モデルを提案する。 モデルでは、各文書は、基礎となるトピックの集合上の有限混合としてモデル化される。 各トピックは、基礎となるトピック確率の集合上の無限混合としてモデル化される。
  論文  参考訳（メタデータ） (2022-03-01T22:06:30Z)
• Revisiting Over-smoothing in BERT from the Perspective of Graph [111.24636158179908]
  近年,トランスフォーマーモデルにおける過度に平滑化現象が視覚と言語の両方で観測されている。 層正規化はトランスフォーマーモデルにおける過度に平滑な問題において重要な役割を果たす。 異なる層からの表現を適応的に組み合わせ、出力をより多様にする階層的融合戦略を考察する。
  論文  参考訳（メタデータ） (2022-02-17T12:20:52Z)
• TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
  既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。 TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
  論文  参考訳（メタデータ） (2021-10-27T09:07:14Z)
• EigenGAN: Layer-Wise Eigen-Learning for GANs [84.33920839885619]
  EigenGANは、異なる発電機層から解釈可能で制御可能な寸法を無監督にマイニングすることができます。 特定の固有次元の係数をトラバースすることで、ジェネレータは特定の意味属性に対応する連続的な変化を伴うサンプルを生成することができる。
  論文  参考訳（メタデータ） (2021-04-26T11:14:37Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。