論文の概要: ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings

• arxiv url: http://arxiv.org/abs/2305.14321v1
• Date: Tue, 23 May 2023 17:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 13:48:27.434229
• Title: ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings
• Title（参考訳）: congrat:ジョイントグラフとテキスト埋め込みのための自己教師付きコントラストプリトレーニング
• Authors: William Brannon, Suyash Fulay, Hang Jiang, Wonjune Kang, Brandon Roy, Jad Kabbara, Deb Roy
• Abstract要約: ConGraTは、親グラフ内のテキストとノードの別々の表現を共同で学習する一般的な自己教師型手法である。 提案手法では,グラフノードとテキストに対して2つの別個のエンコーダを使用して,それらの表現を共通の潜在空間内で整列するように訓練する。
• 参考スコア（独自算出の注目度）: 14.223535075658626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose ConGraT(Contrastive Graph-Text pretraining), a general, self-supervised method for jointly learning separate representations of texts and nodes in a parent (or ``supervening'') graph, where each text is associated with one of the nodes. Datasets fitting this paradigm are common, from social media (users and posts), to citation networks over articles, to link graphs over web pages. We expand on prior work by providing a general, self-supervised, joint pretraining method, one which does not depend on particular dataset structure or a specific task. Our method uses two separate encoders for graph nodes and texts, which are trained to align their representations within a common latent space. Training uses a batch-wise contrastive learning objective inspired by prior work on joint text and image encoding. As graphs are more structured objects than images, we also extend the training objective to incorporate information about node similarity and plausible next guesses in matching nodes and texts. Experiments on various datasets reveal that ConGraT outperforms strong baselines on various downstream tasks, including node and text category classification and link prediction. Code and certain datasets are available at https://github.com/wwbrannon/congrat.
• Abstract（参考訳）: そこで本研究では,親(あるいは'supervening')グラフにおいて,各テキストがノードの1つに関連付けられるような,テキストとノードの別々の表現を協調的に学習する手法であるcongrat(contrastive graph-text pretraining)を提案する。 このパラダイムに適合するデータセットは、ソーシャルメディア(ユーザーと投稿)から記事上の引用ネットワーク、Webページ上のグラフのリンクまで、一般的である。 我々は,特定のデータセット構造や特定のタスクに依存しない,汎用的で自己管理型の共同事前学習手法を提供することにより,先行作業を拡張する。 本手法では,グラフノードとテキストに対して2つの異なるエンコーダを用い,それらの表現を共通の潜在空間内で整列するように訓練する。 トレーニングでは、ジョイントテキストと画像エンコーディングの先行作業に触発された、バッチ的なコントラスト学習目標を使用する。 グラフは画像よりも構造化されたオブジェクトであるため、ノードの類似性や、一致するノードやテキストの次の推測に関する情報を組み込むためのトレーニング目的も拡張する。 さまざまなデータセットの実験により、ConGraTは、ノードとテキストのカテゴリ分類やリンク予測など、さまざまな下流タスクにおいて、強いベースラインを上回ります。 コードとデータセットはhttps://github.com/wwbrannon/congratで入手できる。

関連論文リスト

• Can LLMs Convert Graphs to Text-Attributed Graphs? [35.53046810556242]
  既存のグラフをテキスト対応グラフに変換するために,Topology-Aware Node description Synthesis (TANS)を提案する。 我々はTANSをテキストリッチ,テキスト制限,テキストフリーのグラフで評価し,その適用性を示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:59Z)
• Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
  グラフ上のノード分類は、しばしばクラス不均衡に悩まされ、現実のアプリケーションにおいてバイアスのある予測と重大なリスクをもたらす。 本研究では,テキスト分散グラフ(LA-TAG)を用いた大規模言語モデルに基づく拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T10:36:15Z)
• Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs [35.44563283531432]
  テキスト分散グラフ(英: Text-attributed graph、TAG)は、生のテキストに関連付けられた各ノードを持つ、現実世界の重要なグラフ構造化データの一種である。 TAGでは、従来の数発のノード分類手法が、事前処理されたノード機能で直接トレーニングを行う。 P2TAGは、グラフ事前学習とプロンプトを備えたTAG上の少数ショットノード分類のためのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-22T07:24:21Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
  テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-10-10T14:59:22Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
  従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。 このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。 知識グラフ強化対話生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T13:21:00Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
  本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。 グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
  論文  参考訳（メタデータ） (2020-04-05T13:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。