論文の概要: Unsupervised Relation Extraction from Language Models using Constrained Cloze Completion

• arxiv url: http://arxiv.org/abs/2010.06804v1
• Date: Wed, 14 Oct 2020 04:21:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:20:02.128536
• Title: Unsupervised Relation Extraction from Language Models using Constrained Cloze Completion
• Title（参考訳）: 制約付きクローゼ補完を用いた言語モデルからの教師なし関係抽出
• Authors: Ankur Goswami, Akshata Bhat, Hadar Ohana, Theodoros Rekatsinas
• Abstract要約: 本研究では,現在最先端の自己教師型言語モデルを用いてコーパスから関係を抽出し,微調整された抽出ヘッドを訓練する必要がないことを示す。 本稿では、事前訓練された言語モデル上で制約付きクローゼ補完を実行し、教師なし関係抽出を行うためのシンプルなフレームワークであるRE-Flexを紹介する。
• 参考スコア（独自算出の注目度）: 7.9850810440877975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that state-of-the-art self-supervised language models can be readily used to extract relations from a corpus without the need to train a fine-tuned extractive head. We introduce RE-Flex, a simple framework that performs constrained cloze completion over pretrained language models to perform unsupervised relation extraction. RE-Flex uses contextual matching to ensure that language model predictions matches supporting evidence from the input corpus that is relevant to a target relation. We perform an extensive experimental study over multiple relation extraction benchmarks and demonstrate that RE-Flex outperforms competing unsupervised relation extraction methods based on pretrained language models by up to 27.8 $F_1$ points compared to the next-best method. Our results show that constrained inference queries against a language model can enable accurate unsupervised relation extraction.
• Abstract（参考訳）: 本報告では,最先端の自己教師付き言語モデルを用いて,微調整された抽出ヘッドを訓練することなくコーパスから関係を抽出できることを示す。 本稿では,教師なし関係抽出を行うために,事前学習された言語モデルに対して制約付きクローゼ補完を行うシンプルなフレームワークであるre-flexを紹介する。 RE-Flexはコンテキストマッチングを使用して、言語モデル予測がターゲット関係に関連する入力コーパスからのエビデンスと一致することを保証する。 本研究では,複数の関係抽出ベンチマークを対象とし,事前学習した言語モデルに基づく非教師付き関係抽出法を27.8$f_1$点まで上回るre-flexの有効性を実証する。 その結果、言語モデルに対する制約付き推論クエリにより、正確な教師なし関係抽出が可能となった。

関連論文リスト

• Improving Recall of Large Language Models: A Model Collaboration Approach for Relational Triple Extraction [44.716502690026026]
  長い文から三重項の集合を出力する関係三重抽出は、知識獲得において重要な役割を果たす。 大規模な言語モデルでは、適切な命令が与えられた場合、簡単な文から数ショットの学習や微調整によってトリプルを正確に抽出することができる。 本稿では,大規模言語モデルと小さなモデルを統合した評価フィルタリングフレームワークを設計する。
  論文  参考訳（メタデータ） (2024-04-15T09:03:05Z)
• Chain of Thought with Explicit Evidence Reasoning for Few-shot Relation Extraction [15.553367375330843]
  大規模言語モデルを用いた数ショット関係抽出のための新しい手法を提案する。 CoT-ERは、タスク固有の知識と概念レベルの知識を使用して証拠を生成するために、まず大きな言語モデルを誘導する。
  論文  参考訳（メタデータ） (2023-11-10T08:12:00Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• How to Unleash the Power of Large Language Models for Few-shot Relation Extraction? [28.413620806193165]
  本稿では,GPT-3.5による数ショット関係抽出のための主要な手法,文脈内学習とデータ生成について検討する。 テキスト内学習は,従来の素早い学習手法と同等のパフォーマンスを達成でき,大規模言語モデルによるデータ生成は,従来のソリューションを推し進めて,最先端の複数ショットの新たな結果が得られることを観察する。
  論文  参考訳（メタデータ） (2023-05-02T15:55:41Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• D-REX: Dialogue Relation Extraction with Explanations [65.3862263565638]
  この研究は、部分的にラベル付けされたデータのみを使用しながら関係が存在することを示す説明を抽出することに焦点を当てている。 本稿では,政策誘導型半教師付きアルゴリズムD-REXを提案する。 約90%の人は、強いBERTに基づく関節関係抽出と説明モデルよりもD-REXの説明を好んでいる。
  論文  参考訳（メタデータ） (2021-09-10T22:30:48Z)
• SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction [60.08464995629325]
  オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。 弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。 3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
  論文  参考訳（メタデータ） (2020-04-06T07:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。