論文の概要: GraphFormers: GNN-nested Language Models for Linked Text Representation
- arxiv url: http://arxiv.org/abs/2105.02605v1
- Date: Thu, 6 May 2021 12:20:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 19:20:00.855212
- Title: GraphFormers: GNN-nested Language Models for Linked Text Representation
- Title(参考訳): GraphFormers: リンクされたテキスト表現のためのGNN対応言語モデル
- Authors: Junhan Yang, Zheng Liu, Shitao Xiao, Chaozhuo Li, Guangzhong Sun, and
Xing Xie
- Abstract要約: オンライン広告やレコメンダシステムなど、多くのインテリジェントwebアプリケーションでは、リンクされたテキスト表現が重要である。
予め訓練された言語モデルとグラフニューラルネットワークに関する最近のブレークスルーは、対応する技術の開発を促進する。
本稿では,グラフニューラルネットワークを言語モデルのトランスフォーマー層に並べてネストするGraphFormerを提案する。
- 参考スコア(独自算出の注目度): 18.359150062715617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linked text representation is critical for many intelligent web applications,
such as online advertisement and recommender systems. Recent breakthroughs on
pretrained language models and graph neural networks facilitate the development
of corresponding techniques. However, the existing works mainly rely on
cascaded model structures: the texts are independently encoded by language
models at first, and the textual embeddings are further aggregated by graph
neural networks. We argue that the neighbourhood information is insufficiently
utilized within the above process, which restricts the representation quality.
In this work, we propose GraphFormers, where graph neural networks are nested
alongside each transformer layer of the language models. On top of the above
architecture, the linked texts will iteratively extract neighbourhood
information for the enhancement of their own semantics. Such an iterative
workflow gives rise to more effective utilization of neighbourhood information,
which contributes to the representation quality. We further introduce an
adaptation called unidirectional GraphFormers, which is much more efficient and
comparably effective; and we leverage a pretraining strategy called the
neighbourhood-aware masked language modeling to enhance the training effect. We
perform extensive experiment studies with three large-scale linked text
datasets, whose results verify the effectiveness of our proposed methods.
- Abstract(参考訳): オンライン広告やレコメンダシステムなど、多くのインテリジェントwebアプリケーションでは、リンクされたテキスト表現が重要である。
事前学習された言語モデルとグラフニューラルネットワークに関する最近のブレークスルーは、対応する技術の開発を促進する。
しかし、既存の研究は主にカスケードモデル構造に依存しており、テキストは言語モデルによって独立に符号化され、テキスト埋め込みはグラフニューラルネットワークによってさらに集約される。
上記のプロセスでは,近隣の情報は不十分に利用されており,表現品質が制限されていると論じる。
本研究では,言語モデルの各トランスフォーマー層にグラフニューラルネットワークをネストするグラフフォーマーを提案する。
上記のアーキテクチャに加えて、リンクされたテキストは、自身のセマンティクスの強化のために近隣の情報を反復的に抽出する。
このような反復的なワークフローは、その表現品質に寄与する近隣情報のより効果的な利用をもたらす。
さらに,より効率的かつ両立可能な一方向グラフフォーマと呼ばれる適応法を導入し,学習効果を高めるために,近隣認識マスク型言語モデルと呼ばれる事前学習戦略を活用する。
提案手法の有効性を検証した3つの大規模リンクテキストデータセットを用いて実験を行った。
関連論文リスト
- UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳(メタデータ) (2023-10-19T08:41:21Z) - GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language
Models [33.56759621666477]
本稿では,言語モデルへのグラフ知識の統合を評価するためのベンチマークデータセットを提案する。
提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。
言語のみのモデルと提案したグラフ言語モデルを用いて,ペアグラフの有用性を検証し,課題の難しさを実証する。
論文 参考訳(メタデータ) (2023-10-12T16:46:58Z) - Text Representation Enrichment Utilizing Graph based Approaches: Stock
Market Technical Analysis Case Study [0.0]
本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。
提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
論文 参考訳(メタデータ) (2022-11-29T11:26:08Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for
Semi-supervised Text Classification [6.196387205547024]
本稿では,半教師付きテキスト分類のためのME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks)を提案する。
提案モデルでは,8つのベンチマークデータセット間で最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2022-04-10T07:05:12Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Structure-Augmented Text Representation Learning for Efficient Knowledge
Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。
これらのグラフは通常不完全であり、自動補完を促す。
グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。
テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文 参考訳(メタデータ) (2020-04-30T13:50:34Z) - Modeling Global and Local Node Contexts for Text Generation from
Knowledge Graphs [63.12058935995516]
最近のグラフ・トゥ・テキストモデルでは、グローバル・アグリゲーションまたはローカル・アグリゲーションを使用してグラフベースのデータからテキストを生成する。
本稿では,グローバルなノードコンテキストとローカルなノードコンテキストを組み合わせた入力グラフを符号化するニューラルモデルを提案する。
われわれのアプローチは、2つのグラフからテキストへのデータセットに大きな改善をもたらす。
論文 参考訳(メタデータ) (2020-01-29T18:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。