論文の概要: ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and
Text Embeddings
- arxiv url: http://arxiv.org/abs/2305.14321v1
- Date: Tue, 23 May 2023 17:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 13:48:27.434229
- Title: ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and
Text Embeddings
- Title(参考訳): congrat:ジョイントグラフとテキスト埋め込みのための自己教師付きコントラストプリトレーニング
- Authors: William Brannon, Suyash Fulay, Hang Jiang, Wonjune Kang, Brandon Roy,
Jad Kabbara, Deb Roy
- Abstract要約: ConGraTは、親グラフ内のテキストとノードの別々の表現を共同で学習する一般的な自己教師型手法である。
提案手法では,グラフノードとテキストに対して2つの別個のエンコーダを使用して,それらの表現を共通の潜在空間内で整列するように訓練する。
- 参考スコア(独自算出の注目度): 14.223535075658626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose ConGraT(Contrastive Graph-Text pretraining), a general,
self-supervised method for jointly learning separate representations of texts
and nodes in a parent (or ``supervening'') graph, where each text is associated
with one of the nodes. Datasets fitting this paradigm are common, from social
media (users and posts), to citation networks over articles, to link graphs
over web pages. We expand on prior work by providing a general,
self-supervised, joint pretraining method, one which does not depend on
particular dataset structure or a specific task. Our method uses two separate
encoders for graph nodes and texts, which are trained to align their
representations within a common latent space. Training uses a batch-wise
contrastive learning objective inspired by prior work on joint text and image
encoding. As graphs are more structured objects than images, we also extend the
training objective to incorporate information about node similarity and
plausible next guesses in matching nodes and texts. Experiments on various
datasets reveal that ConGraT outperforms strong baselines on various downstream
tasks, including node and text category classification and link prediction.
Code and certain datasets are available at
https://github.com/wwbrannon/congrat.
- Abstract(参考訳): そこで本研究では,親(あるいは'supervening')グラフにおいて,各テキストがノードの1つに関連付けられるような,テキストとノードの別々の表現を協調的に学習する手法であるcongrat(contrastive graph-text pretraining)を提案する。
このパラダイムに適合するデータセットは、ソーシャルメディア(ユーザーと投稿)から記事上の引用ネットワーク、Webページ上のグラフのリンクまで、一般的である。
我々は,特定のデータセット構造や特定のタスクに依存しない,汎用的で自己管理型の共同事前学習手法を提供することにより,先行作業を拡張する。
本手法では,グラフノードとテキストに対して2つの異なるエンコーダを用い,それらの表現を共通の潜在空間内で整列するように訓練する。
トレーニングでは、ジョイントテキストと画像エンコーディングの先行作業に触発された、バッチ的なコントラスト学習目標を使用する。
グラフは画像よりも構造化されたオブジェクトであるため、ノードの類似性や、一致するノードやテキストの次の推測に関する情報を組み込むためのトレーニング目的も拡張する。
さまざまなデータセットの実験により、ConGraTは、ノードとテキストのカテゴリ分類やリンク予測など、さまざまな下流タスクにおいて、強いベースラインを上回ります。
コードとデータセットはhttps://github.com/wwbrannon/congratで入手できる。
関連論文リスト
- Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳(メタデータ) (2023-10-19T08:41:21Z) - Learning Multiplex Embeddings on Text-rich Networks with One Text
Encoder [58.536112184212534]
本稿では,TExt-Rich ネットワーク上での多重埋め込み学習のための新しいフレームワーク METERN を提案する。
既存の手法とは対照的に、METERNは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。
学術分野と電子商取引分野の5つのネットワークにおいて,9つの下流タスクについて実験を行った。
論文 参考訳(メタデータ) (2023-10-10T14:59:22Z) - ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for
Semi-supervised Text Classification [6.196387205547024]
本稿では,半教師付きテキスト分類のためのME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks)を提案する。
提案モデルでは,8つのベンチマークデータセット間で最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2022-04-10T07:05:12Z) - JointGT: Graph-Text Joint Representation Learning for Text Generation
from Knowledge Graphs [44.06715423776722]
本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。
エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。
種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
論文 参考訳(メタデータ) (2021-06-19T14:10:10Z) - A Deep Local and Global Scene-Graph Matching for Image-Text Retrieval [4.159666152160874]
シーングラフの提示は画像テキストマッチングの課題に適した方法である。
本稿では,最先端の手法を強化するローカル・グローバル・シーングラフマッチング(LGSGM)モデルを提案する。
Flickr30kデータセットのリコールを10%以上増やすことで,レベルの組み合わせによる改善により,ベースライン手法の性能を向上させることができる。
論文 参考訳(メタデータ) (2021-06-04T10:33:14Z) - Visual FUDGE: Form Understanding via Dynamic Graph Editing [2.012425476229879]
提案したFUDGEモデルは、テキスト要素のグラフ上でこの問題を定式化する。
グラフ畳み込みネットワークを使用して、グラフの変更を予測する。
FUDGEは歴史的NAFデータセットの最先端である。
論文 参考訳(メタデータ) (2021-05-17T23:18:39Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Structure-Augmented Text Representation Learning for Efficient Knowledge
Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。
これらのグラフは通常不完全であり、自動補完を促す。
グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。
テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文 参考訳(メタデータ) (2020-04-30T13:50:34Z) - Heterogeneous Graph Neural Networks for Extractive Document
Summarization [101.17980994606836]
クロス文関係は、抽出文書要約における重要なステップである。
We present a graph-based neural network for extractive summarization (HeterSumGraph)
抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
論文 参考訳(メタデータ) (2020-04-26T14:38:11Z) - Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。
グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
論文 参考訳(メタデータ) (2020-04-05T13:09:37Z) - Graph Structured Network for Image-Text Matching [127.68148793548116]
微粒化対応学習のためのグラフ構造化マッチングネットワークを提案する。
GSMNは、明示的にオブジェクト、関係、属性を構造化されたフレーズとしてモデル化する。
実験により、GSMNはベンチマークで最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-04-01T08:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。