論文の概要: Two Training Strategies for Improving Relation Extraction over Universal Graph

• arxiv url: http://arxiv.org/abs/2102.06540v1
• Date: Fri, 12 Feb 2021 14:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:23:38.079105
• Title: Two Training Strategies for Improving Relation Extraction over Universal Graph
• Title（参考訳）: ユニバーサルグラフ上の関係抽出を改善するための2つのトレーニング戦略
• Authors: Qin Dai, Naoya Inoue, Ryo Takahashi and Kentaro Inui
• Abstract要約: 本論文では,Universal Graph (UG) と Knowledge Graph (KG) を用いて,Distantly Supervised Relation Extraction (DS-RE) のメリットについて考察する。 まず,この劣化がUG学習の難しさと関連していることを報告し,その上で2つのトレーニング戦略を提案する。 バイオメディカルおよびNYT10データセットの実験結果は、我々の手法の堅牢性を証明し、NYT10データセットの新たな最先端結果を達成する。
• 参考スコア（独自算出の注目度）: 36.06238013119114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores how the Distantly Supervised Relation Extraction (DS-RE) can benefit from the use of a Universal Graph (UG), the combination of a Knowledge Graph (KG) and a large-scale text collection. A straightforward extension of a current state-of-the-art neural model for DS-RE with a UG may lead to degradation in performance. We first report that this degradation is associated with the difficulty in learning a UG and then propose two training strategies: (1) Path Type Adaptive Pretraining, which sequentially trains the model with different types of UG paths so as to prevent the reliance on a single type of UG path; and (2) Complexity Ranking Guided Attention mechanism, which restricts the attention span according to the complexity of a UG path so as to force the model to extract features not only from simple UG paths but also from complex ones. Experimental results on both biomedical and NYT10 datasets prove the robustness of our methods and achieve a new state-of-the-art result on the NYT10 dataset. The code and datasets used in this paper are available at https://github.com/baodaiqin/UGDSRE.
• Abstract（参考訳）: 本稿では,知識グラフ (kg) と大規模テキストコレクションを組み合わせた汎用グラフ (ug) の利用により,遠隔教師付き関係抽出 (ds-re) がいかに有用かを検討する。 UGを用いたDS-REの現状のニューラルモデルの直接的な拡張は、パフォーマンスの低下につながる可能性がある。 We first report that this degradation is associated with the difficulty in learning a UG and then propose two training strategies: (1) Path Type Adaptive Pretraining, which sequentially trains the model with different types of UG paths so as to prevent the reliance on a single type of UG path; and (2) Complexity Ranking Guided Attention mechanism, which restricts the attention span according to the complexity of a UG path so as to force the model to extract features not only from simple UG paths but also from complex ones. バイオメディカルおよびNYT10データセットの実験結果は、我々の手法の堅牢性を証明し、NYT10データセットの新たな最先端結果を達成する。 この論文で使用されるコードとデータセットは、https://github.com/baodaiqin/UGDSRE.comで入手できる。

関連論文リスト

• Enhanced Expressivity in Graph Neural Networks with Lanczos-Based Linear Constraints [7.605749412696919]
  グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。 グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。 提案手法は,PubMedとOGBL-Vesselのデータセットから,5%と10%のデータしか必要とせず,20倍と10倍の高速化を実現する。
  論文  参考訳（メタデータ） (2024-08-22T12:22:00Z)
• Can Modifying Data Address Graph Domain Adaptation? [20.343259091425708]
  Unsupervised Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフからラベル付きターゲットグラフへの知識伝達を容易にすることを目的としている。 小さいが転送可能なグラフを生成する新しいUGDA法であるGraphAlignを提案する。 古典的な経験的リスク最小化(ERM)を備えた新しいグラフ上で、GNNのみをトレーニングすることにより、GraphAlignは、ターゲットグラフ上での例外的なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-07-27T17:56:31Z)
• Revisiting, Benchmarking and Understanding Unsupervised Graph Domain Adaptation [31.106636947179005]
  教師なしグラフドメイン適応(Unsupervised Graph Domain Adaptation)は、ラベル豊富なソースグラフからラベルなしターゲットグラフへの知識の転送を含む。 GDABenchと呼ばれる教師なしグラフ領域適応のための最初の包括的なベンチマークを示す。 我々は、現在のUGDAモデルの性能がデータセットや適応シナリオによって大きく異なることを観察する。
  論文  参考訳（メタデータ） (2024-07-09T06:44:09Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension [13.173307471333619]
  本稿では,文書内のエンティティ間の直感的な関係に基づく異種グラフ構築モデルLUKE-Graphを提案する。 次に、アテンション読み込み(RGAT)を用いて、事前学習したLUKEモデルによって符号化されたグラフの推論情報と文脈表現を融合する。 実験結果から,LUKE-Graphはコモンセンス推論による最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-03-12T14:31:44Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。