論文の概要: CPTuning: Contrastive Prompt Tuning for Generative Relation Extraction
- arxiv url: http://arxiv.org/abs/2501.02196v1
- Date: Sat, 04 Jan 2025 05:17:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:09:27.265970
- Title: CPTuning: Contrastive Prompt Tuning for Generative Relation Extraction
- Title（参考訳）: CPTuning: 生成関係抽出のためのコントラストプロンプトチューニング
- Authors: Jiaxin Duan, Fengyu Lu, Junfei Liu,
- Abstract要約: 生成的関係抽出(RE)は通常、事前学習言語モデル(PLM)に容易に取り組める言語モデリング問題としてREを最初に再構成する。
本稿では、2つのコンテキスト内エンティティ間の候補関係を関連付けることを学習するRE, CPTuningのための新しいコントラスト的プロンプトチューニング手法を提案する。
CTPuningはまた、REを言語化された関係生成タスクとして整理し、モデルが有効な関係を生成することを保証するためにTrie-Constrained decodingを使用する。
- 参考スコア（独自算出の注目度）: 2.883903547507341
- License:
- Abstract: Generative relation extraction (RE) commonly involves first reformulating RE as a linguistic modeling problem easily tackled with pre-trained language models (PLM) and then fine-tuning a PLM with supervised cross-entropy loss. Although having achieved promising performance, existing approaches assume only one deterministic relation between each pair of entities without considering real scenarios where multiple relations may be valid, i.e., entity pair overlap, causing their limited applications. To address this problem, we introduce a novel contrastive prompt tuning method for RE, CPTuning, which learns to associate a candidate relation between two in-context entities with a probability mass above or below a threshold, corresponding to whether the relation exists. Beyond learning schema, CPTuning also organizes RE as a verbalized relation generation task and uses Trie-constrained decoding to ensure a model generates valid relations. It adaptively picks out the generated candidate relations with a high estimated likelihood in inference, thereby achieving multi-relation extraction. We conduct extensive experiments on four widely used datasets to validate our method. Results show that T5-large fine-tuned with CPTuning significantly outperforms previous methods, regardless of single or multiple relations extraction.
- Abstract（参考訳）: 生成的関係抽出(RE)は一般的に、事前学習言語モデル(PLM)に容易に対応できる言語モデリング問題としてまずREを再構成し、教師付きクロスエントロピー損失を伴うPLMを微調整する。
有望な性能を達成したが、既存のアプローチでは、複数の関係が有効である実シナリオ、すなわちエンティティペアの重複を考慮せずに、各エンティティ間の1つの決定論的関係を前提としている。
そこで本研究では,Re,CPTuningという2つのコンテキスト内エンティティ間の候補関係としきい値以上の確率質量を関連付けることを学習する,新しいRe,CPTuningのコントラスト的プロンプトチューニング手法を提案する。
スキーマの学習以外にも、CPTuningはREを言語化された関係生成タスクとして整理し、モデルが有効な関係を生成することを保証するためにTrie-Constrained decodingを使用する。
推論において高い推定確率で生成した候補関係を適応的に抽出し,マルチリレーション抽出を実現する。
提案手法を検証するために,広く用いられている4つのデータセットについて広範な実験を行った。
その結果,CPTuningで微調整したT5-largeは,単一・複数関係抽出によらず,従来手法より有意に優れていたことがわかった。
関連論文リスト
- Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction [19.019881161010474]
関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。
既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。
本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
論文 参考訳（メタデータ） (2023-12-18T09:58:19Z) - More than Classification: A Unified Framework for Event Temporal
Relation Extraction [61.44799147458621]
イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。
イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。
本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-28T02:09:08Z) - PromptORE -- A Novel Approach Towards Fully Unsupervised Relation
Extraction [0.0]
教師なし関係抽出(RE)は、トレーニング中にラベル付きデータにアクセスすることなく、テキスト内のエンティティ間の関係を識別することを目的としている。
本稿では,'Prompt-based Open Relation extract'モデルであるPromptOREを提案する。
我々は、新しいプロンプトチューニングパラダイムを教師なしの設定に適応させ、関係を表す文を埋め込む。
PromptOREは,B,V,ARIの40%以上の増加率を持つ最先端モデルより一貫して優れていた。
論文 参考訳（メタデータ） (2023-03-24T12:55:35Z) - PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate
Relation Selection and Entity Boundary Detection [11.274924966891842]
ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。
従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。
我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T04:27:31Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - D-REX: Dialogue Relation Extraction with Explanations [65.3862263565638]
この研究は、部分的にラベル付けされたデータのみを使用しながら関係が存在することを示す説明を抽出することに焦点を当てている。
本稿では,政策誘導型半教師付きアルゴリズムD-REXを提案する。
約90%の人は、強いBERTに基づく関節関係抽出と説明モデルよりもD-REXの説明を好んでいる。
論文 参考訳（メタデータ） (2021-09-10T22:30:48Z) - Learning Relation Prototype from Unlabeled Texts for Long-tail Relation
Extraction [84.64435075778988]
本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。
我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。
私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
論文 参考訳（メタデータ） (2020-11-27T06:21:12Z) - Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot
Relational Triple Extraction [40.00702385889112]
本稿では,関係三重項の合成を共同で抽出する,新しいマルチプロトタイプ埋め込みネットワークモデルを提案する。
我々は、エンティティとリレーションの両方に関するテキストと知識を橋渡しするハイブリッド学習機構を設計する。
実験により, 提案手法は, 数発トリプル抽出の性能を向上させることができることを示した。
論文 参考訳（メタデータ） (2020-10-30T04:18:39Z) - Learning to Decouple Relations: Few-Shot Relation Classification with
Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。
一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。
一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
論文 参考訳（メタデータ） (2020-10-21T11:07:53Z) - Relation of the Relations: A New Paradigm of the Relation Extraction
Problem [52.21210549224131]
我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。
我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。
実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2020-06-05T22:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。