論文の概要: Representation Learning for Weakly Supervised Relation Extraction
- arxiv url: http://arxiv.org/abs/2105.00815v2
- Date: Sun, 14 Jan 2024 13:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 04:17:56.860872
- Title: Representation Learning for Weakly Supervised Relation Extraction
- Title（参考訳）: 弱教師付き関係抽出のための表現学習
- Authors: Zhuang Li
- Abstract要約: 本論文では、分散テキスト表現機能を学ぶための教師なし事前学習モデルをいくつか提示する。
実験により,従来の手作りの特徴と組み合わせることで,関係抽出のためのロジスティック分類モデルの性能が向上することが実証された。
- 参考スコア（独自算出の注目度）: 19.689433249830465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have seen rapid development in Information Extraction, as well
as its subtask, Relation Extraction. Relation Extraction is able to detect
semantic relations between entities in sentences. Currently, many efficient
approaches have been applied to relation extraction tasks. Supervised learning
approaches especially have good performance. However, there are still many
difficult challenges. One of the most serious problems is that manually labeled
data is difficult to acquire. In most cases, limited data for supervised
approaches equals lousy performance. Thus here, under the situation with only
limited training data, we focus on how to improve the performance of our
supervised baseline system with unsupervised pre-training. Feature is one of
the key components in improving the supervised approaches. Traditional
approaches usually apply hand-crafted features, which require expert knowledge
and expensive human labor. However, this type of feature might suffer from data
sparsity: when the training set size is small, the model parameters might be
poorly estimated. In this thesis, we present several novel unsupervised
pre-training models to learn the distributed text representation features,
which are encoded with rich syntactic-semantic patterns of relation
expressions. The experiments have demonstrated that this type of feature,
combine with the traditional hand-crafted features, could improve the
performance of the logistic classification model for relation extraction,
especially on the classification of relations with only minor training
instances.
- Abstract（参考訳）: 近年,情報抽出やそのサブタスクであるリレーション抽出が急速に進展している。
関係抽出は文中のエンティティ間の意味関係を検出することができる。
現在、関係抽出タスクに多くの効率的なアプローチが適用されている。
教師付き学習アプローチは特に優れたパフォーマンスを持つ。
しかし、まだ多くの難しい課題がある。
最も深刻な問題の1つは、手動ラベル付きデータを取得するのが難しいことである。
ほとんどの場合、教師付きアプローチの限られたデータは、粗悪なパフォーマンスに等しい。
そこで,本研究では,トレーニングデータに制限のある状況下では,教師なし事前学習による教師ありベースラインシステムの性能向上に注目する。
機能(feature)は、教師付きアプローチを改善する上で重要なコンポーネントの1つです。
伝統的なアプローチは通常手作りの特徴を適用し、専門知識と高価な人的労働を必要とする。
しかし、この種の機能はデータのスパーシティに支障をきたす可能性がある。トレーニングセットのサイズが小さい場合、モデルパラメータは低い推定値になる可能性がある。
本論文では,関係表現の構文・意味的パターンを多用した分散テキスト表現の特徴を学習するための,教師なし事前学習モデルを提案する。
実験により, 従来の手作りの特徴と組み合わせることで, 関係抽出のためのロジスティック分類モデルの性能が向上することが実証された。
関連論文リスト
- PromptRE: Weakly-Supervised Document-Level Relation Extraction via
Prompting-Based Data Programming [30.597623178206874]
本稿では,文書レベルの関係抽出手法であるPromptREを提案する。
PromptREは、ラベルの配布とエンティティタイプを事前知識として組み込んでパフォーマンスを向上させる。
文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの実験結果は、ベースラインアプローチよりもPromptREの方が優れていることを示す。
論文 参考訳（メタデータ） (2023-10-13T17:23:17Z) - Can I see an Example? Active Learning the Long Tail of Attributes and
Relations [64.50739983632006]
視覚シーンの属性や関係を問う,新たな逐次能動学習フレームワークを提案する。
従来のアクティブな学習手法では、特定の例のラベルを求めるが、エージェントが特定のカテゴリからサンプルを求めることができるように、このフレーミングを反転させる。
このフレーミングを用いて、データ分布の尾からサンプルを求めるアクティブサンプリング手法を導入し、Visual Genomeの古典的アクティブラーニング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-11T19:28:19Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。
本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-12T09:40:33Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - WebRED: Effective Pretraining And Finetuning For Relation Extraction On
The Web [4.702325864333419]
WebREDは、World Wide Webで見つかったテキストから関係を抽出するための強く監視された人間の注釈付きデータセットです。
弱教師付きデータセットの事前学習と、教師付きデータセットの微調整を組み合わせることで、関係抽出性能が向上することを示す。
論文 参考訳（メタデータ） (2021-02-18T23:56:12Z) - Learning Relation Prototype from Unlabeled Texts for Long-tail Relation
Extraction [84.64435075778988]
本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。
我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。
私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
論文 参考訳（メタデータ） (2020-11-27T06:21:12Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。