Fugu-MT 論文翻訳(概要): Graph Contrastive Topic Model

論文の概要: Graph Contrastive Topic Model

arxiv url: http://arxiv.org/abs/2307.02078v1
Date: Wed, 5 Jul 2023 07:39:47 GMT
ステータス: 処理完了
システム内更新日: 2023-07-06 14:43:56.474702
Title: Graph Contrastive Topic Model
Title（参考訳）: グラフコントラストトピックモデル
Authors: Zheheng Luo, Lei Liu, Qianqian Xie, Sophia Ananiadou
Abstract要約: 対照的な学習データセットを持つ既存のNTMは、単語頻度に基づくサンプリング戦略によるサンプルバイアスの問題に悩まされる。そこで本研究では, 負のサンプルに, 意味的に関係のない単語を含まなければならないという新たなサンプリング仮定を提案する。
参考スコア（独自算出の注目度）: 17.12121078203536
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing NTMs with contrastive learning suffer from the sample bias problem owing to the word frequency-based sampling strategy, which may result in false negative samples with similar semantics to the prototypes. In this paper, we aim to explore the efficient sampling strategy and contrastive learning in NTMs to address the aforementioned issue. We propose a new sampling assumption that negative samples should contain words that are semantically irrelevant to the prototype. Based on it, we propose the graph contrastive topic model (GCTM), which conducts graph contrastive learning (GCL) using informative positive and negative samples that are generated by the graph-based sampling strategy leveraging in-depth correlation and irrelevance among documents and words. In GCTM, we first model the input document as the document word bipartite graph (DWBG), and construct positive and negative word co-occurrence graphs (WCGs), encoded by graph neural networks, to express in-depth semantic correlation and irrelevance among words. Based on the DWBG and WCGs, we design the document-word information propagation (DWIP) process to perform the edge perturbation of DWBG, based on multi-hop correlations/irrelevance among documents and words. This yields the desired negative and positive samples, which will be utilized for GCL together with the prototypes to improve learning document topic representations and latent topics. We further show that GCL can be interpreted as the structured variational graph auto-encoder which maximizes the mutual information of latent topic representations of different perspectives on DWBG. Experiments on several benchmark datasets demonstrate the effectiveness of our method for topic coherence and document representation learning compared with existing SOTA methods.
Abstract（参考訳）: 既存のNTMは、単語周波数に基づくサンプリング戦略によってサンプルバイアスの問題に悩まされており、これはプロトタイプと類似した意味を持つ偽陰性サンプルをもたらす可能性がある。本稿では,これらの課題に対処するために,NTMにおける効率的なサンプリング戦略とコントラスト学習を提案する。提案手法では, 負のサンプルは, プロトタイプと意味的に無関係な単語を含むべきという新しいサンプリング仮定を提案する。そこで本論文では,文書と単語間の深い相関と無関係性を利用したグラフベースサンプリング手法を用いて,情報的正と負のサンプルを用いてグラフコントラスト学習(GCL)を行うグラフコントラストトピックモデルを提案する。 GCTMでは、入力文書を文書語二部グラフ(DWBG)としてモデル化し、グラフニューラルネットワークで符号化された正および負の単語共起グラフ(WCG)を構築し、単語間の深い意味的相関と無関係を表現する。 DWBGとWCGに基づいて、文書と単語間のマルチホップ相関/非関連性に基づいて、DWBGのエッジ摂動を行うための文書ワード情報伝達(DWIP)プロセスを設計する。これにより望ましいネガティブなサンプルとポジティブなサンプルが得られ、プロトタイプとともにgclで活用され、ドキュメントのトピック表現や潜在トピックの学習が改善される。さらに、GCLは、DWBG上の異なる視点の潜在トピック表現の相互情報を最大化する構造化変動グラフオートエンコーダとして解釈できることを示す。いくつかのベンチマークデータセットを用いて,既存のSOTA手法と比較して,トピックコヒーレンスと文書表現学習の有効性を示す。

関連論文リスト

Self-Supervised Conditional Distribution Learning on Graphs [15.730933577970687]
本稿では,従来の特徴に対して,弱い特徴と強く拡張された特徴の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。このアライメントは、グラフ構造化データ拡張による本質的な意味情報の破壊のリスクを効果的に低減する。
論文参考訳（メタデータ） (2024-11-20T07:26:36Z)
Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
論文参考訳（メタデータ） (2024-10-13T02:22:14Z)
Article Classification with Graph Neural Networks and Multigraphs [0.12499537119440243]
単純なグラフニューラルネットワーク(GNN)パイプラインを多グラフ表現で拡張することにより,記事分類の性能を向上させる手法を提案する。完全に教師されたトランスダクティブノード分類実験は、Open Graph Benchmark OGBN-arXivデータセットとPubMed糖尿病データセットで実施されている。その結果、マルチグラフはデフォルトグラフと比較して、様々なGNNモデルの性能を一貫して改善することを示した。
論文参考訳（メタデータ） (2023-09-20T14:18:04Z)
STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文参考訳（メタデータ） (2023-01-25T03:21:42Z)
Heterogeneous Graph Contrastive Multi-view Learning [11.489983916543805]
グラフデータセット上での識別ノード表現を学習するために,グラフコントラスト学習(GCL)が開発された。本稿では,HGCML(Heterogeneous Graph Contrastive Multi-view Learning)モデルを提案する。 HGCMLは、5つの実世界のベンチマークデータセットにおける最先端のベースラインを一貫して上回る。
論文参考訳（メタデータ） (2022-10-01T10:53:48Z)
ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial Multi-View Clustering [52.491074276133325]
部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
論文参考訳（メタデータ） (2022-03-01T02:32:25Z)
Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文参考訳（メタデータ） (2021-06-17T16:45:31Z)
An Unsupervised Sampling Approach for Image-Sentence Matching Using Document-Level Structural Information [64.66785523187845]
教師なし画像文マッチングの問題に焦点をあてる。既存の研究では、文書レベルの構造情報を用いて、モデルトレーニングの正および負のインスタンスをサンプリングする方法が検討されている。そこで本研究では,追加の文書内画像-文対を正あるいは負のサンプルとして選択する新しいサンプリング手法を提案する。
論文参考訳（メタデータ） (2021-03-21T05:43:29Z)
Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
論文参考訳（メタデータ） (2021-02-14T16:11:56Z)
Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文参考訳（メタデータ） (2021-01-16T16:18:43Z)
Neural Topic Modeling by Incorporating Document Relationship Graph [18.692100955163713]
グラフトピックモデル(GTM)は、コーパスを文書関係グラフとして表現したGNNベースのニューラルトピックモデルである。コーパス内の文書と単語はグラフ内のノードとなり、文書と単語の共起に基づいて接続される。
論文参考訳（メタデータ） (2020-09-29T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。