論文の概要: GraphFormers: GNN-nested Language Models for Linked Text Representation
- arxiv url: http://arxiv.org/abs/2105.02605v1
- Date: Thu, 6 May 2021 12:20:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 19:20:00.855212
- Title: GraphFormers: GNN-nested Language Models for Linked Text Representation
- Title（参考訳）: GraphFormers: リンクされたテキスト表現のためのGNN対応言語モデル
- Authors: Junhan Yang, Zheng Liu, Shitao Xiao, Chaozhuo Li, Guangzhong Sun, and
Xing Xie
- Abstract要約: オンライン広告やレコメンダシステムなど、多くのインテリジェントwebアプリケーションでは、リンクされたテキスト表現が重要である。
予め訓練された言語モデルとグラフニューラルネットワークに関する最近のブレークスルーは、対応する技術の開発を促進する。
本稿では,グラフニューラルネットワークを言語モデルのトランスフォーマー層に並べてネストするGraphFormerを提案する。
- 参考スコア（独自算出の注目度）: 18.359150062715617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linked text representation is critical for many intelligent web applications,
such as online advertisement and recommender systems. Recent breakthroughs on
pretrained language models and graph neural networks facilitate the development
of corresponding techniques. However, the existing works mainly rely on
cascaded model structures: the texts are independently encoded by language
models at first, and the textual embeddings are further aggregated by graph
neural networks. We argue that the neighbourhood information is insufficiently
utilized within the above process, which restricts the representation quality.
In this work, we propose GraphFormers, where graph neural networks are nested
alongside each transformer layer of the language models. On top of the above
architecture, the linked texts will iteratively extract neighbourhood
information for the enhancement of their own semantics. Such an iterative
workflow gives rise to more effective utilization of neighbourhood information,
which contributes to the representation quality. We further introduce an
adaptation called unidirectional GraphFormers, which is much more efficient and
comparably effective; and we leverage a pretraining strategy called the
neighbourhood-aware masked language modeling to enhance the training effect. We
perform extensive experiment studies with three large-scale linked text
datasets, whose results verify the effectiveness of our proposed methods.
- Abstract（参考訳）: オンライン広告やレコメンダシステムなど、多くのインテリジェントwebアプリケーションでは、リンクされたテキスト表現が重要である。
事前学習された言語モデルとグラフニューラルネットワークに関する最近のブレークスルーは、対応する技術の開発を促進する。
しかし、既存の研究は主にカスケードモデル構造に依存しており、テキストは言語モデルによって独立に符号化され、テキスト埋め込みはグラフニューラルネットワークによってさらに集約される。
上記のプロセスでは,近隣の情報は不十分に利用されており,表現品質が制限されていると論じる。
本研究では,言語モデルの各トランスフォーマー層にグラフニューラルネットワークをネストするグラフフォーマーを提案する。
上記のアーキテクチャに加えて、リンクされたテキストは、自身のセマンティクスの強化のために近隣の情報を反復的に抽出する。
このような反復的なワークフローは、その表現品質に寄与する近隣情報のより効果的な利用をもたらす。
さらに,より効率的かつ両立可能な一方向グラフフォーマと呼ばれる適応法を導入し,学習効果を高めるために,近隣認識マスク型言語モデルと呼ばれる事前学習戦略を活用する。
提案手法の有効性を検証した3つの大規模リンクテキストデータセットを用いて実験を行った。
関連論文リスト
- Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。
従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。
VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
論文 参考訳（メタデータ） (2024-10-02T12:07:47Z) - Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。
我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。
本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
論文 参考訳（メタデータ） (2024-08-09T14:57:53Z) - Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。
提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文 参考訳（メタデータ） (2024-06-18T13:35:25Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-04-28T18:36:59Z) - UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳（メタデータ） (2024-02-21T09:06:31Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳（メタデータ） (2023-12-16T08:14:11Z) - Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳（メタデータ） (2023-10-19T08:41:21Z) - ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。
提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。
実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T17:53:30Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。