論文の概要: Reviewing Labels: Label Graph Network with Top-k Prediction Set for
Relation Extraction
- arxiv url: http://arxiv.org/abs/2212.14270v1
- Date: Thu, 29 Dec 2022 11:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 16:22:12.554892
- Title: Reviewing Labels: Label Graph Network with Top-k Prediction Set for
Relation Extraction
- Title(参考訳): ラベルのレビュー:関係抽出のためのトップk予測セット付きラベルグラフネットワーク
- Authors: Bo Li, Wei Ye, Jinglei Zhang, Shikun Zhang
- Abstract要約: KLGと呼ばれるトップk予測セットを用いたラベルグラフネットワークを提案する。
与えられたサンプルに対して、Top-k予測セットの候補ラベルをレビューし、それらの関係を学習するラベルグラフを構築する。
実験の結果,KLGは3つの関係抽出データセット上で最高の性能を発揮することがわかった。
- 参考スコア(独自算出の注目度): 18.99717328038403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The typical way for relation extraction is fine-tuning large pre-trained
language models on task-specific datasets, then selecting the label with the
highest probability of the output distribution as the final prediction.
However, the usage of the Top-k prediction set for a given sample is commonly
overlooked. In this paper, we first reveal that the Top-k prediction set of a
given sample contains useful information for predicting the correct label. To
effectively utilizes the Top-k prediction set, we propose Label Graph Network
with Top-k Prediction Set, termed as KLG. Specifically, for a given sample, we
build a label graph to review candidate labels in the Top-k prediction set and
learn the connections between them. We also design a dynamic $k$-selection
mechanism to learn more powerful and discriminative relation representation.
Our experiments show that KLG achieves the best performances on three relation
extraction datasets. Moreover, we observe that KLG is more effective in dealing
with long-tailed classes.
- Abstract(参考訳): 関係抽出の典型的な方法は、タスク固有のデータセット上で大きな事前学習された言語モデルを微調整し、最終予測として出力分布の最も高い確率のラベルを選択することである。
しかし、与えられたサンプルに対するトップk予測セットの使用は一般的に見過ごされる。
本稿では,与えられたサンプルのTop-k予測セットが,正しいラベルを予測するための有用な情報を含んでいることを最初に明らかにする。
このtop-k予測セットを有効に活用するために,klgと呼ばれるtop-k予測セットを用いたラベルグラフネットワークを提案する。
具体的には、あるサンプルに対して、トップk予測セットの候補ラベルをレビューし、それらの関係を学ぶラベルグラフを構築します。
また、より強力で差別的な関係表現を学習するための動的$k$-selection機構を設計する。
実験の結果,klgは3つの関係抽出データセットにおいて最高の性能を達成できた。
さらに、klgは長い尾を持つクラスを扱うのにより効果的である。
関連論文リスト
- Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。
多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。
各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
論文 参考訳(メタデータ) (2023-10-20T05:33:21Z) - Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification [0.0]
グラフ畳み込みネットワークを活用し,ラベル間の統計的関係に基づいて隣接行列を構築する。
我々は,Bhattacharyya距離を設定された予測ネットワークの出力分布に適用することにより,リコール能力を向上する。
論文 参考訳(メタデータ) (2023-04-14T09:31:17Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Query-Adaptive Predictive Inference with Partial Labels [0.0]
ブラックボックス予測モデル上に部分的にラベル付けされたデータのみを用いて予測集合を構築する新しい手法を提案する。
我々の実験は、予測セット構築の有効性と、よりフレキシブルなユーザ依存損失フレームワークの魅力を強調した。
論文 参考訳(メタデータ) (2022-06-15T01:48:42Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Why Propagate Alone? Parallel Use of Labels and Features on Graphs [42.01561812621306]
グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。
ラベルのトリックを2つの要因からなる解釈可能な決定論的学習目標に還元できることを示す。
論文 参考訳(メタデータ) (2021-10-14T07:34:11Z) - Graph Contrastive Learning Automated [94.41860307845812]
グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。
GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。
本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-10T16:35:27Z) - Finding Friends and Flipping Frenemies: Automatic Paraphrase Dataset
Augmentation Using Graph Theory [21.06607915149245]
提案する文ペアラベルからパラフレーズグラフを構築し,推移性特性を用いて原文ペアから直接ラベルを推測することにより,拡張データセットを作成する。
提案手法は,事前学習されたBERTモデルから始まるこれらのデータセットを用いて学習したパラフレーズモデルを用いて評価し,自動強化されたトレーニングセットによりより正確なモデルが得られることを示す。
論文 参考訳(メタデータ) (2020-11-03T17:18:03Z) - Handling Missing Data with Graph Representation Learning [62.59831675688714]
特徴量計算とラベル予測のためのグラフベースのフレームワークであるGRAPEを提案する。
GRAPEでは,特徴計算をエッジレベル予測タスク,ラベル予測をノードレベル予測タスクとして定式化する。
9つのベンチマークデータセットによる実験結果から、GRAPEは計算タスクの平均絶対誤差を20%低く、ラベル予測タスクを10%低くすることがわかった。
論文 参考訳(メタデータ) (2020-10-30T17:59:13Z) - ProphetNet: Predicting Future N-gram for Sequence-to-Sequence
Pre-training [85.35910219651572]
本稿ではProphetNetと呼ばれる新しいシーケンス・ツー・シーケンス事前学習モデルを提案する。
将来的なn-gram予測という,新たな自己教師型目標を導入している。
我々は,CNN/DailyMail,Gigaword,SQuAD 1.1ベンチマークを用いて,抽象的な要約と質問生成タスクの実験を行った。
論文 参考訳(メタデータ) (2020-01-13T05:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。