論文の概要: Hierarchical Graph Topic Modeling with Topic Tree-based Transformer

• arxiv url: http://arxiv.org/abs/2502.11345v1
• Date: Mon, 17 Feb 2025 01:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:44.404487
• Title: Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
• Title（参考訳）: Topic Tree-based Transformer を用いた階層グラフトピックモデリング
• Authors: Delvin Ce Zhang, Menglin Yang, Xiaobao Wu, Jiasheng Zhang, Hady W. Lauw,
• Abstract要約: 本稿では,文書内のトピック階層と文書間のグラフ階層を統合する階層型グラフトピックモデリング変換器を提案する。 話題とグラフの階層性の両方を保存するため,ハイパーボリック空間におけるモデルの設計と,ハイパーボリックダブルリカレントニューラルネットワークの提案を行う。 教師なし実験と教師なし実験の両方が、我々のモデルの有効性を検証する。
• 参考スコア（独自算出の注目度）: 35.554979581137296
• License:
• Abstract: Textual documents are commonly connected in a hierarchical graph structure where a central document links to others with an exponentially growing connectivity. Though Hyperbolic Graph Neural Networks (HGNNs) excel at capturing such graph hierarchy, they cannot model the rich textual semantics within documents. Moreover, text contents in documents usually discuss topics of different specificity. Hierarchical Topic Models (HTMs) discover such latent topic hierarchy within text corpora. However, most of them focus on the textual content within documents, and ignore the graph adjacency across interlinked documents. We thus propose a Hierarchical Graph Topic Modeling Transformer to integrate both topic hierarchy within documents and graph hierarchy across documents into a unified Transformer. Specifically, to incorporate topic hierarchy within documents, we design a topic tree and infer a hierarchical tree embedding for hierarchical topic modeling. To preserve both topic and graph hierarchies, we design our model in hyperbolic space and propose Hyperbolic Doubly Recurrent Neural Network, which models ancestral and fraternal tree structure. Both hierarchies are inserted into each Transformer layer to learn unified representations. Both supervised and unsupervised experiments verify the effectiveness of our model.
• Abstract（参考訳）: テキスト文書は、中央文書が互いにつながり、指数関数的に増加する接続性を持つ階層的なグラフ構造で、一般的に接続される。 ハイパーボリックグラフニューラルネットワーク(HGNN)は、このようなグラフ階層の取得に優れていますが、ドキュメント内のリッチなテキストセマンティクスをモデル化することはできません。 さらに、文書中のテキストの内容は、通常、異なる特異性のトピックについて論じる。 階層的トピックモデル(HTM)はテキストコーパス内でそのような潜在トピック階層を発見する。 しかし、それらのほとんどはドキュメント内のテキストコンテンツに焦点を当てており、リンクされたドキュメント間のグラフの隣接性を無視している。 そこで本稿では,文書内のトピック階層と文書間のグラフ階層を統合化トランスフォーマに統合する階層型グラフトピックモデリングトランスフォーマを提案する。 具体的には、文書にトピック階層を組み込むために、トピックツリーを設計し、階層的なトピックモデリングのための階層的なツリー埋め込みを推論する。 トピックとグラフ階層の両方を保存するために,双曲空間におけるモデルの設計と,祖先木構造とフラタニカル木構造をモデル化した双曲二重並行ニューラルネットワークを提案する。 両階層は各トランスフォーマー層に挿入され、統一表現を学習する。 教師なし実験と教師なし実験の両方が、我々のモデルの有効性を検証する。

関連論文リスト

• Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification [20.434941308959786]
  長い文書分類は、その広範な内容と複雑な構造のために困難を呈する。 既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。 本手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
  論文  参考訳（メタデータ） (2024-10-03T19:25:01Z)
• HDT: Hierarchical Document Transformer [70.2271469410557]
  HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
  論文  参考訳（メタデータ） (2024-07-11T09:28:04Z)
• Modeling Unified Semantic Discourse Structure for High-quality Headline Generation [45.23071138765902]
  文書意味論を表現するために,統一意味談話構造(S3)を提案する。 文、節、単語の階層的な構成は、本質的に全体文書の意味を特徴づける。 私たちの仕事は、見出しや要約生成以上の、幅広いドキュメントモデリングタスクに対してインストラクティブなものです。
  論文  参考訳（メタデータ） (2024-03-23T09:18:53Z)
• On the Affinity, Rationality, and Diversity of Hierarchical Topic Modeling [29.277151061615434]
  我々は交通計画と文脈対応階層的トピックモデル(TraCo)を提案する。 TraCoは依存関係を制約して、そのスパーシティとバランスを確保すると同時に、トピック階層の構築を規則化している。 以前は絡み合ったデコーディングではなく、アンタングル化されたデコーディングによって異なるレベルのトピックに異なる意味的な粒度を分散する。
  論文  参考訳（メタデータ） (2024-01-25T11:47:58Z)
• HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding [54.52651110749165]
  本稿では,単語や話題を表現するために,メタボリック埋め込みを導入した新しいフレームワークを提案する。 双曲空間のツリー様性により、下層のセマンティック階層はより解釈可能なトピックをマイニングするためによりうまく利用することができる。
  論文  参考訳（メタデータ） (2022-10-16T02:54:17Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
  既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。 TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
  論文  参考訳（メタデータ） (2021-10-27T09:07:14Z)
• Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding [37.7780399311715]
  階層的トピックマイニング(Hierarchical Topic Mining)は、ユーザーが関心のあるトピックを理解するのを助けるために、テキストコーパスから各カテゴリの代表語を抽出することを目的としている。 私たちのモデルは、JoSHと呼ばれ、高い効率と弱教師付き階層的テキスト分類タスクの恩恵を受ける、高品質な階層的トピックセットをマイニングしています。
  論文  参考訳（メタデータ） (2020-07-18T23:30:47Z)
• Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
  ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。 微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-01T03:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。