論文の概要: From Bag of Sentences to Document: Distantly Supervised Relation
Extraction via Machine Reading Comprehension
- arxiv url: http://arxiv.org/abs/2012.04334v2
- Date: Wed, 9 Dec 2020 03:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:29:11.592391
- Title: From Bag of Sentences to Document: Distantly Supervised Relation
Extraction via Machine Reading Comprehension
- Title(参考訳): 文の袋から文書へ:機械読解による遠方の教師付き関係抽出
- Authors: Lingyong Yan, Xianpei Han, Le Sun, Fangchao Liu and Ning Bian
- Abstract要約: 新しいDSパラダイム-文書ベースの遠隔監視を提案する。
提案手法は,新しい最先端DS性能を実現する。
- 参考スコア(独自算出の注目度): 22.39362905658063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distant supervision (DS) is a promising approach for relation extraction but
often suffers from the noisy label problem. Traditional DS methods usually
represent an entity pair as a bag of sentences and denoise labels using
multi-instance learning techniques. The bag-based paradigm, however, fails to
leverage the inter-sentence-level and the entity-level evidence for relation
extraction, and their denoising algorithms are often specialized and
complicated. In this paper, we propose a new DS paradigm--document-based
distant supervision, which models relation extraction as a document-based
machine reading comprehension (MRC) task. By re-organizing all sentences about
an entity as a document and extracting relations via querying the document with
relation-specific questions, the document-based DS paradigm can simultaneously
encode and exploit all sentence-level, inter-sentence-level, and entity-level
evidence. Furthermore, we design a new loss function--DSLoss (distant
supervision loss), which can effectively train MRC models using only
$\langle$document, question, answer$\rangle$ tuples, therefore noisy label
problem can be inherently resolved. Experiments show that our method achieves
new state-of-the-art DS performance.
- Abstract(参考訳): 距離監督 (DS) は関係抽出において有望なアプローチであるが, しばしばノイズのあるラベル問題に悩まされる。
従来のDSメソッドは通常、エンティティペアを文の袋として表現し、マルチインスタンス学習技術を用いてラベルを識別する。
しかし、バッグベースのパラダイムは、文間レベルと関係抽出の実体レベル証拠の活用に失敗し、その認知アルゴリズムはしばしば特殊で複雑である。
本稿では,文書ベース機械読解(MRC)タスクとして関係抽出をモデル化した,新たなDSパラダイムである文書ベース遠隔監視を提案する。
エンティティに関するすべての文を文書として再編成し、関係性固有の質問で文書をクエリすることで関係を抽出することにより、文書ベースのDSパラダイムは、すべての文レベル、文間レベル、エンティティレベルの証拠を同時にエンコードして活用することができる。
さらに,$\langle$document, question, answer$\rangle$ tuples を用いてmrcモデルを効果的に訓練できる新しい損失関数-dsloss (distant supervisor loss) を設計した。
実験により,本手法が新たな最先端DS性能を実現することを示す。
関連論文リスト
- Absformer: Transformer-based Model for Unsupervised Multi-Document
Abstractive Summarization [1.066048003460524]
MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。
抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。
本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
論文 参考訳(メタデータ) (2023-06-07T21:18:23Z) - Towards Unsupervised Recognition of Token-level Semantic Differences in
Related Documents [61.63208012250885]
意味的差異をトークンレベルの回帰タスクとして認識する。
マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。
その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
論文 参考訳(メタデータ) (2023-05-22T17:58:04Z) - Document-aware Positional Encoding and Linguistic-guided Encoding for
Abstractive Multi-document Summarization [12.799359904396624]
多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。
本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。
論文 参考訳(メタデータ) (2022-09-13T12:22:38Z) - Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。
そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
論文 参考訳(メタデータ) (2022-06-21T18:16:31Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Three Sentences Are All You Need: Local Path Enhanced Document Relation
Extraction [54.95848026576076]
本稿では,文書レベルREのエビデンス文を選択するための,恥ずかしいほど単純だが効果的な方法を提案する。
私たちはhttps://github.com/AndrewZhe/Three-Sentences-Are-All-You-Need.comでコードを公開しました。
論文 参考訳(メタデータ) (2021-06-03T12:29:40Z) - Denoising Relation Extraction from Document-level Distant Supervision [92.76441007250197]
本稿では,文書レベルのDSデータを複数の事前学習タスクで認知するDocREのための新しい事前学習モデルを提案する。
大規模DocREベンチマーク実験の結果,ノイズの多いDSデータから有用な情報を抽出し,有望な結果が得られることがわかった。
論文 参考訳(メタデータ) (2020-11-08T02:05:25Z) - WSL-DS: Weakly Supervised Learning with Distant Supervision for Query
Focused Multi-Document Abstractive Summarization [16.048329028104643]
Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。
このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。
本稿では,遠隔指導による弱教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T02:02:55Z) - Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。
テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。
私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
論文 参考訳(メタデータ) (2020-10-23T21:52:38Z) - Hybrid Attention-Based Transformer Block Model for Distant Supervision
Relation Extraction [20.644215991166902]
DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。
提案手法は評価データセットの最先端アルゴリズムより優れている。
論文 参考訳(メタデータ) (2020-03-10T13:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。