論文の概要: JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2106.10502v1
• Date: Sat, 19 Jun 2021 14:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 16:00:49.926961
• Title: JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs
• Title（参考訳）: JointGT:知識グラフを用いたテキスト生成のためのグラフテキスト共同表現学習
• Authors: Pei Ke, Haozhe Ji, Yu Ran, Xin Cui, Liwei Wang, Linfeng Song, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。 エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。 種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
• 参考スコア（独自算出の注目度）: 44.06715423776722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing pre-trained models for knowledge-graph-to-text (KG-to-text) generation simply fine-tune text-to-text pre-trained models such as BART or T5 on KG-to-text datasets, which largely ignore the graph structure during encoding and lack elaborate pre-training tasks to explicitly model graph-text alignments. To tackle these problems, we propose a graph-text joint representation learning model called JointGT. During encoding, we devise a structure-aware semantic aggregation module which is plugged into each Transformer layer to preserve the graph structure. Furthermore, we propose three new pre-training tasks to explicitly enhance the graph-text alignment including respective text / graph reconstruction, and graph-text alignment in the embedding space via Optimal Transport. Experiments show that JointGT obtains new state-of-the-art performance on various KG-to-text datasets.
• Abstract（参考訳）: 既存のknowledge-graph-to-text(kg-to-text)モデルでは、kg-to-textデータセット上でbartやt5などのテキストからテキストへの事前学習モデルを生成するだけで済みます。 このような問題に対処するために,JointGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。 符号化中,各トランスフォーマー層に接続してグラフ構造を保存する構造対応セマンティックアグリゲーションモジュールを考案した。 さらに、各テキスト/グラフ再構成を含むグラフテキストアライメントを明示的に強化する3つの新しい事前学習タスクと、最適輸送による埋め込み空間におけるグラフテキストアライメントを提案する。 実験により、jointgt は様々な kg-to-text データセット上で新たな最先端性能を得ることが示された。

関連論文リスト

• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations [15.873944819608434]
  Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化する。 本稿では,TAGの構造的・意味的次元を統合した,新たな自己教師型学習フレームワークであるText-And-Graph Multi-View Alignment(TAGA)を紹介する。 本フレームワークは,8つの実世界のデータセットを対象としたゼロショットおよび少数ショットシナリオにおいて,強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-27T03:40:16Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Improving Graph-Based Text Representations with Character and Word Level N-grams [30.699644290131044]
  単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。 また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
  論文  参考訳（メタデータ） (2022-10-12T08:07:54Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
  ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。 微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-01T03:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。