論文の概要: LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension

• arxiv url: http://arxiv.org/abs/2303.06675v1
• Date: Sun, 12 Mar 2023 14:31:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 17:25:55.319535
• Title: LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension
• Title（参考訳）: LUKE-Graph:クローゼスタイル読解理解のためのGated Relational Graph Attentionを用いたトランスフォーマーベースアプローチ
• Authors: Shima Foolad and Kourosh Kiani
• Abstract要約: 本稿では,文書内のエンティティ間の直感的な関係に基づく異種グラフ構築モデルLUKE-Graphを提案する。 次に、アテンション読み込み(RGAT)を用いて、事前学習したLUKEモデルによって符号化されたグラフの推論情報と文脈表現を融合する。 実験結果から,LUKE-Graphはコモンセンス推論による最先端性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 13.173307471333619
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Incorporating prior knowledge can improve existing pre-training models in cloze-style machine reading and has become a new trend in recent studies. Notably, most of the existing models have integrated external knowledge graphs (KG) and transformer-based models, such as BERT into a unified data structure. However, selecting the most relevant ambiguous entities in KG and extracting the best subgraph remains a challenge. In this paper, we propose the LUKE-Graph, a model that builds a heterogeneous graph based on the intuitive relationships between entities in a document without using any external KG. We then use a Relational Graph Attention (RGAT) network to fuse the graph's reasoning information and the contextual representation encoded by the pre-trained LUKE model. In this way, we can take advantage of LUKE, to derive an entity-aware representation; and a graph model - to exploit relation-aware representation. Moreover, we propose Gated-RGAT by augmenting RGAT with a gating mechanism that regulates the question information for the graph convolution operation. This is very similar to human reasoning processing because they always choose the best entity candidate based on the question information. Experimental results demonstrate that the LUKE-Graph achieves state-of-the-art performance on the ReCoRD dataset with commonsense reasoning.
• Abstract（参考訳）: 先行知識を組み込むことで,クローゼスタイルの機械読解における既存の事前学習モデルを改善することができ,近年では新たなトレンドとなっている。 特に、既存のモデルのほとんどは、BERTのような外部知識グラフ(KG)とトランスフォーマーベースのモデルを統合データ構造に統合している。 しかし、最も関係のある曖昧なエンティティをkgで選択し、最良のサブグラフを抽出することは、依然として課題である。 本稿では,外部KGを使わずに文書内のエンティティ間の直感的な関係に基づく異種グラフ構築モデルLUKE-Graphを提案する。 次にrgat(relational graph attention)ネットワークを用いて,事前学習したlukeモデルで符号化されたグラフの推論情報と文脈表現を融合する。 このようにして、LUKEを利用してエンティティ・アウェアな表現を導出し、グラフモデルを使って関係・アウェアな表現を活用できる。 さらに、グラフ畳み込み操作の質問情報を制御するゲーティング機構によりRGATを増強し、Gated-RGATを提案する。 これは人間の推論処理と非常によく似ています。なぜなら、常に質問情報に基づいて最適なエンティティ候補を選択するからです。 実験結果から,LUKE-Graph はコモンセンス推論を用いたReCoRDデータセット上での最先端性能を実現することが示された。

関連論文リスト

• GALA: Graph Diffusion-based Alignment with Jigsaw for Source-free Domain Adaptation [13.317620250521124]
  ソースコードのないドメイン適応は、現実世界で多くのアプリケーションを含むため、重要な機械学習トピックである。 最近のグラフニューラルネットワーク(GNN)アプローチは、ドメインシフトとラベルの不足により、パフォーマンスが著しく低下する可能性がある。 本稿では, ソースフリーなグラフドメイン適応に適した Jigsaw (GALA) を用いたグラフ拡散に基づくアライメント法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:32:46Z)
• CORE: Data Augmentation for Link Prediction via Information Bottleneck [25.044734252779975]
  リンク予測(LP)はグラフ表現学習の基本的な課題である。 LPモデルのコンパクトかつ予測的な拡張を学習するための新しいデータ拡張手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2024-04-17T03:20:42Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
  我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。 予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。 そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
  論文  参考訳（メタデータ） (2022-12-08T11:53:12Z)
• A Graph-Enhanced Click Model for Web Search [67.27218481132185]
  ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。 セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
  論文  参考訳（メタデータ） (2022-06-17T08:32:43Z)
• Graph Collaborative Reasoning [18.45161138837384]
  グラフ協調推論(GCR)は、論理的推論の観点からグラフ上の関係推論に隣接リンク情報を使用することができる。 そこで我々は,グラフ構造を論理式に変換する簡単な手法を提案し,リンク予測タスクをニューラルネットワーク推論問題に変換する。 本研究の有効性を示すため,一般的なベンチマークデータセットに基づくリンク予測やレコメンデーションなどのグラフ関連タスクの実験を行った。
  論文  参考訳（メタデータ） (2021-12-27T14:27:58Z)
• r-GAT: Relational Graph Attention Network for Multi-Relational Graphs [8.529080554172692]
  Graph Attention Network (GAT)は、単純な無方向性グラフと単一のリレーショナルグラフデータのみをモデル化することに焦点を当てている。 マルチチャネルエンティティ表現を学習するための関係グラフアテンションネットワークであるr-GATを提案する。 リンク予測とエンティティ分類タスクの実験は、我々のr-GATがマルチリレーショナルグラフを効果的にモデル化できることを示します。
  論文  参考訳（メタデータ） (2021-09-13T12:43:00Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。