論文の概要: Inducing Alignment Structure with Gated Graph Attention Networks for Sentence Matching

• arxiv url: http://arxiv.org/abs/2010.07668v2
• Date: Thu, 21 Oct 2021 15:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:49:05.294884
• Title: Inducing Alignment Structure with Gated Graph Attention Networks for Sentence Matching
• Title（参考訳）: 文マッチングのためのゲートグラフ注意ネットワークによるアライメント構造誘導
• Authors: Peng Cui, Le Hu, Yuanchao Liu
• Abstract要約: 本稿では,文マッチングのためのグラフベースの手法を提案する。 文ペアをグラフとして表現し、慎重に設計する。 次に,文マッチングのために構築したグラフを符号化するために,新しいゲートグラフアテンションネットワークを用いる。
• 参考スコア（独自算出の注目度）: 24.02847802702168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence matching is a fundamental task of natural language processing with various applications. Most recent approaches adopt attention-based neural models to build word- or phrase-level alignment between two sentences. However, these models usually ignore the inherent structure within the sentences and fail to consider various dependency relationships among text units. To address these issues, this paper proposes a graph-based approach for sentence matching. First, we represent a sentence pair as a graph with several carefully design strategies. We then employ a novel gated graph attention network to encode the constructed graph for sentence matching. Experimental results demonstrate that our method substantially achieves state-of-the-art performance on two datasets across tasks of natural language and paraphrase identification. Further discussions show that our model can learn meaningful graph structure, indicating its superiority on improved interpretability.
• Abstract（参考訳）: 文マッチングは自然言語処理のさまざまな応用における基本的なタスクである。 最近のアプローチでは、2つの文間の単語またはフレーズレベルのアライメントを構築するために注意に基づくニューラルモデルを採用している。 しかしながら、これらのモデルは通常文内の固有の構造を無視し、テキスト単位間の様々な依存関係関係を考慮できない。 これらの問題に対処するために,文マッチングのためのグラフベースのアプローチを提案する。 まず, 文ペアをグラフとして表現し, 設計戦略を慎重に検討する。 文マッチングのために構築したグラフを符号化するために,新しいゲートグラフアテンションネットワークを用いる。 実験の結果,本手法は自然言語とパラフレーズ識別のタスクにまたがる2つのデータセットの最先端性能を実質的に達成していることがわかった。 さらなる議論は,本モデルが有意義なグラフ構造を学習できることを示し,解釈可能性の向上にその優位性を示す。

関連論文リスト

• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Improving Graph-Based Text Representations with Character and Word Level N-grams [30.699644290131044]
  単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。 また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
  論文  参考訳（メタデータ） (2022-10-12T08:07:54Z)
• Entailment Graph Learning with Textual Entailment and Soft Transitivity [69.91691115264132]
  テキスト・エンタテインメント・トランジシティー(EGT2)を用いた2段階のエンタテインメント・グラフを提案する。 EGT2 は CCG パースした述語によって形成されるテンプレート文間のテキスト的含意を認識することにより、局所的含意関係を学習する。 生成した局所グラフに基づいて、EGT2は3つの新しいソフトな推移性制約を用いて、包含構造における論理的推移性を考える。
  論文  参考訳（メタデータ） (2022-04-07T08:33:06Z)
• Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification [2.064612766965483]
  帰納的文書分類のための新しいGNNに基づくスパース構造学習モデルを提案する。 本モデルでは,文間の不連続な単語を接続する訓練可能なエッジの集合を収集し,動的文脈依存性を持つエッジを疎結合に選択するために構造学習を用いる。 いくつかの実世界のデータセットの実験では、提案されたモデルがほとんどの最先端の結果より優れていることが示されている。
  論文  参考訳（メタデータ） (2021-12-13T02:36:04Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• Sentence Structure and Word Relationship Modeling for Emphasis Selection [33.71757542373714]
  強調選択は、短い文で強調する単語の選択に焦点を当てた、新しく提案されたタスクである。 従来の手法では、リッチな文構造と単語関係情報を無視しながら、文のシーケンス情報のみを考慮する。 本稿では,文構造グラフによる文構造と,単語類似性グラフによる単語関係を考慮した新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-29T04:43:25Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。