論文の概要: Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning

• arxiv url: http://arxiv.org/abs/2204.04813v1
• Date: Mon, 11 Apr 2022 00:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 13:10:11.892658
• Title: Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning
• Title（参考訳）: 事前学習言語モデルによる説明グラフ生成:コントラスト学習を用いた実証的研究
• Authors: Swarnadeep Saha, Prateek Yadav, Mohit Bansal
• Abstract要約: エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。 本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。 提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
• 参考スコア（独自算出の注目度）: 84.35102534158621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained sequence-to-sequence language models have led to widespread success in many natural language generation tasks. However, there has been relatively less work on analyzing their ability to generate structured outputs such as graphs. Unlike natural language, graphs have distinct structural and semantic properties in the context of a downstream NLP task, e.g., generating a graph that is connected and acyclic can be attributed to its structural constraints, while the semantics of a graph can refer to how meaningfully an edge represents the relation between two node concepts. In this work, we study pre-trained language models that generate explanation graphs in an end-to-end manner and analyze their ability to learn the structural constraints and semantics of such graphs. We first show that with limited supervision, pre-trained language models often generate graphs that either violate these constraints or are semantically incoherent. Since curating large amount of human-annotated graphs is expensive and tedious, we propose simple yet effective ways of graph perturbations via node and edge edit operations that lead to structurally and semantically positive and negative graphs. Next, we leverage these graphs in different contrastive learning models with Max-Margin and InfoNCE losses. Our methods lead to significant improvements in both structural and semantic accuracy of explanation graphs and also generalize to other similar graph generation tasks. Lastly, we show that human errors are the best negatives for contrastive learning and also that automatically generating more such human-like negative graphs can lead to further improvements. Our code and models are publicly available at https://github.com/swarnaHub/ExplagraphGen
• Abstract（参考訳）: 事前学習されたシーケンスからシーケンスへの言語モデルは多くの自然言語生成タスクで広く成功を収めた。 しかし、グラフのような構造化出力を生成する能力を分析する研究は比較的少ない。 自然言語とは異なり、グラフは下流のNLPタスクの文脈において異なる構造的および意味的特性を持ち、例えば、連結された非巡回グラフを生成することは、その構造的制約に起因し得るが、グラフの意味論は、エッジが2つのノードの概念の間の関係を意味的に表すことを示すことができる。 そこで本研究では,エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討し,その構造的制約や意味を学習する能力について分析する。 まず,事前学習された言語モデルは,制約に違反するか,あるいは意味的に一貫性のないグラフを生成することが多い。 そこで我々は, ノードおよびエッジ編集操作によるグラフ摂動の簡易かつ効果的な方法を提案し, 構造的かつ意味論的に正なグラフと負のグラフを導出する。 次に、これらのグラフをMax-MarginとInfoNCEの損失を伴う異なるコントラスト学習モデルで活用する。 提案手法は,説明グラフの構造的および意味的精度を向上し,他の類似グラフ生成タスクに一般化する。 最後に,人間の誤りがコントラスト学習の最良の否定点であること,また,このような人間的な負のグラフを自動生成することでさらなる改善につながることを示す。 私たちのコードとモデルはhttps://github.com/swarnaHub/ExplagraphGenで公開されています。

関連論文リスト

• Robust Graph Structure Learning under Heterophily [12.557639223778722]
  本稿では、下流タスクのための異種データから高品質なグラフを実現するための、新しい頑健なグラフ構造学習法を提案する。 まず,そのノードの特徴に構造情報をエンコードすることで,各ノードが近隣ノードとより区別されるようにハイパスフィルタを適用する。 そして、異なるレベルのノイズを特徴付ける適応ノルムを持つ頑健なグラフを学習する。
  論文  参考訳（メタデータ） (2024-03-06T12:29:13Z)
• Graph Generation with Diffusion Mixture [57.78958552860948]
  グラフの生成は、非ユークリッド構造の複雑な性質を理解する必要がある実世界のタスクにとって大きな課題である。 本稿では,拡散過程の最終グラフ構造を明示的に学習することにより,グラフのトポロジーをモデル化する生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T17:07:46Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• ExplaGraphs: An Explanation Graph Generation Task for Structured Commonsense Reasoning [65.15423587105472]
  スタンス予測のための説明グラフ生成の新しい生成および構造化コモンセンスリゾニングタスク(および関連するデータセット)を紹介します。 具体的には、信念と議論が与えられた場合、モデルは、議論が信念を支持しているかどうかを予測し、予測されたスタンスに対する非自明で完全で曖昧な説明として機能する常識強化グラフを生成する必要がある。 グラフの83%は、様々な構造と推論深度を持つ外部のコモンセンスノードを含んでいる。
  論文  参考訳（メタデータ） (2021-04-15T17:51:36Z)
• Generating a Doppelganger Graph: Resembling but Distinct [5.618335078130568]
  本論文では,与えられたグラフ特性に類似したドッペルガンガーグラフを生成する手法を提案する。 このアプローチは、グラフ表現学習、生成的敵ネットワーク、およびグラフ実現アルゴリズムのオーケストレーションである。
  論文  参考訳（メタデータ） (2021-01-23T22:08:27Z)
• Towards Interpretable Multi-Task Learning Using Bilevel Programming [18.293397644865454]
  解釈可能なマルチタスク学習は、学習したモデルの予測性能に基づいて、タスク関係のスパースグラフを学習するものとして表現することができる。 一般化性能を犠牲にすることなく、学習したモデルの解釈性や、合成データと実データとの関係を実証的に改善する方法を示す。
  論文  参考訳（メタデータ） (2020-09-11T15:04:27Z)
• Non-Parametric Graph Learning for Bayesian Graph Neural Networks [35.88239188555398]
  グラフ隣接行列の後方分布を構築するための新しい非パラメトリックグラフモデルを提案する。 このモデルの利点を,ノード分類,リンク予測,レコメンデーションという3つの異なる問題設定で示す。
  論文  参考訳（メタデータ） (2020-06-23T21:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。