論文の概要: Structural Adapters in Pretrained Language Models for AMR-to-text Generation

• arxiv url: http://arxiv.org/abs/2103.09120v1
• Date: Tue, 16 Mar 2021 15:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 13:31:30.068048
• Title: Structural Adapters in Pretrained Language Models for AMR-to-text Generation
• Title（参考訳）: AMR-to-text生成のための事前学習言語モデルにおける構造適応器
• Authors: Leonardo F. R. Ribeiro, Yue Zhang, Iryna Gurevych
• Abstract要約: グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
• 参考スコア（独自算出の注目度）: 59.50420985074769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous work on text generation from graph-structured data relies on pretrained language models (PLMs) and utilizes graph linearization heuristics rather than explicitly considering the graph structure. Efficiently encoding the graph structure in PLMs is challenging because they were pretrained on natural language, and modeling structured data may lead to catastrophic forgetting of distributional knowledge. In this paper, we propose StructAdapt, an adapter method to encode graph structure into PLMs. Contrary to prior work, StructAdapt effectively models interactions among the nodes based on the graph connectivity, only training graph structure-aware adapter parameters. In this way, we avoid catastrophic forgetting while maintaining the topological structure of the graph. We empirically show the benefits of explicitly encoding graph structure into PLMs using adapters and achieve state-of-the-art results on two AMR-to-text datasets, training only 5.1% of the PLM parameters.
• Abstract（参考訳）: グラフ構造データからのテキスト生成に関する以前の研究は、事前学習された言語モデル(plm)に依存しており、グラフ構造を明示的に考慮するのではなく、グラフ線形化ヒューリスティックスを利用している。 PLMのグラフ構造を効率的に符号化することは、自然言語で事前訓練されたため困難であり、構造化されたデータをモデル化することは、分布的知識を破滅的に忘れてしまう可能性がある。 本稿では,グラフ構造をPLMにエンコードするアダプタであるStructAdaptを提案する。 以前の作業とは対照的に、StructAdaptはグラフ接続性に基づいてノード間の相互作用を効果的にモデル化する。 このようにして、グラフの位相構造を維持しながら破滅的な忘れを避ける。 本研究では,2つのAMR-to-textデータセットに対して,PLMパラメータの5.1%のトレーニングを行い,グラフ構造をアダプタを用いてPLMに明示的に符号化する利点を実証的に示す。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• Let Your Graph Do the Talking: Encoding Structured Data for LLMs [22.358472780103057]
  大規模言語モデル(LLM)の構造化データを明示的に表現するためのパラメータ係数法を提案する。 提案手法は,明示的な構造化情報でプロンプトを拡張するエンコード関数を学習する。 グラフ構造を明示的に表現することで、グラフ推論タスクを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2024-02-08T17:51:44Z)
• Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
  Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。 構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T12:23:49Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters [5.468547489755107]
  AMR-to-Text生成における相対的位置埋め込み(RPE)の影響について検討する。 アブレーション研究、グラフアタック、リンク予測を通じて、RPEが部分的に入力グラフを符号化していることを明らかにする。 RPEの役割に関するさらなる研究は、グラフ・トゥ・テキスト・ジェネレーションに価値ある洞察をもたらすだろう。
  論文  参考訳（メタデータ） (2023-02-12T12:43:36Z)
• Graph Pre-training for AMR Parsing and Generation [14.228434699363495]
  AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。 本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
  論文  参考訳（メタデータ） (2022-03-15T12:47:00Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。