論文の概要: Prompt-Learning for Cross-Lingual Relation Extraction
- arxiv url: http://arxiv.org/abs/2304.10354v1
- Date: Thu, 20 Apr 2023 14:52:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 12:55:46.804017
- Title: Prompt-Learning for Cross-Lingual Relation Extraction
- Title（参考訳）: 言語間関係抽出のためのPrompt-Learning
- Authors: Chiaming Hsu, Changtong Zan, Liang Ding, Longyue Wang, Xiaoting Wang,
Weifeng Liu, Fu Lin, Wenbin Hu
- Abstract要約: 本稿では,Prompt-XREと呼ばれる,Prompt-Tuningに基づく新しいXREアルゴリズムを提案する。
複数の言語にわたる低リソースACE05ベンチマークで行った実験により,我々のPrompt-XREアルゴリズムは,Vanilla multilingual PLMと他の既存モデルよりも有意に優れていることが示された。
我々は、WMT 2017並列コーパスから抽出した0.9万の英語と中国語のペアを含む新しいXREデータセット、WMT17-EnZh XREを構築し、リリースする。
- 参考スコア（独自算出の注目度）: 33.548054085453686
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Relation Extraction (RE) is a crucial task in Information Extraction, which
entails predicting relationships between entities within a given sentence.
However, extending pre-trained RE models to other languages is challenging,
particularly in real-world scenarios where Cross-Lingual Relation Extraction
(XRE) is required. Despite recent advancements in Prompt-Learning, which
involves transferring knowledge from Multilingual Pre-trained Language Models
(PLMs) to diverse downstream tasks, there is limited research on the effective
use of multilingual PLMs with prompts to improve XRE. In this paper, we present
a novel XRE algorithm based on Prompt-Tuning, referred to as Prompt-XRE. To
evaluate its effectiveness, we design and implement several prompt templates,
including hard, soft, and hybrid prompts, and empirically test their
performance on competitive multilingual PLMs, specifically mBART. Our extensive
experiments, conducted on the low-resource ACE05 benchmark across multiple
languages, demonstrate that our Prompt-XRE algorithm significantly outperforms
both vanilla multilingual PLMs and other existing models, achieving
state-of-the-art performance in XRE. To further show the generalization of our
Prompt-XRE on larger data scales, we construct and release a new XRE dataset-
WMT17-EnZh XRE, containing 0.9M English-Chinese pairs extracted from WMT 2017
parallel corpus. Experiments on WMT17-EnZh XRE also show the effectiveness of
our Prompt-XRE against other competitive baselines. The code and newly
constructed dataset are freely available at
\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}.
- Abstract（参考訳）: 関係抽出(RE)は、ある文内のエンティティ間の関係を予測する情報抽出において重要なタスクである。
しかし、特に言語間関係抽出(XRE)が必要な現実のシナリオでは、事前訓練されたREモデルを他の言語に拡張することは困難である。
多言語事前学習言語モデル(plm)から多様な下流タスクへ知識を移行するプロンプトラーニングの最近の進歩にもかかわらず、xreを改善するためのプロンプトによる多言語plmの有効利用に関する研究は限られている。
本稿では,Prompt-XREと呼ばれる,Prompt-Tuningに基づく新しいXREアルゴリズムを提案する。
本手法の有効性を評価するため,ハードプロンプト,ソフトプロンプト,ハイブリッドプロンプトなどいくつかのプロンプトテンプレートを設計,実装し,競合する多言語PLM(特にmBART)の性能を実証的に検証した。
複数の言語にわたる低リソースACE05ベンチマークで実施した大規模な実験により、我々のPrompt-XREアルゴリズムは、Vanilla multilingual PLMと他の既存モデルの両方よりも大幅に優れており、XREの最先端性能を実現していることが示された。
大規模データスケールにおけるPrompt-XREの一般化をさらに示すため、WMT 2017並列コーパスから抽出した0.9万の英漢ペアを含む新しいXREデータセットWMT17-EnZh XREを構築し、リリースする。
WMT17-EnZh XREの実験は、他の競争基盤線に対する我々のPrompt-XREの有効性を示す。
コードと新たに構築されたデータセットは、 \url{https://github.com/HSU-CHIA-MING/Prompt-XRE}で無料で利用できる。
関連論文リスト
- Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。
我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。
ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-10-02T01:12:54Z) - AutoRE: Document-Level Relation Extraction with Large Language Models [27.426703757501507]
我々は、RHF(Relation-Head-Facts)という新しいRE抽出パラダイムを採用した、エンド・ツー・エンドのDocREモデルであるAutoREを紹介する。
既存のアプローチとは異なり、AutoREは既知の関係オプションの仮定に依存しておらず、現実のシナリオをより反映している。
RE-DocREDデータセットの実験では、AutoREの最高のパフォーマンスを示し、最先端の結果が得られました。
論文 参考訳（メタデータ） (2024-03-21T23:48:21Z) - Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。
その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
論文 参考訳（メタデータ） (2024-01-19T06:54:39Z) - EMMA-X: An EM-like Multilingual Pre-training Algorithm for Cross-lingual
Representation Learning [74.60554112841307]
EMMAX: (X)Crosslingual Universalsを学習するためのEM-like Multilingual Pretrainingアルゴリズムを提案する。
EMMAXは、言語間表現学習タスクと、EMフレームワーク内の余分な意味関係予測タスクを統一する。
論文 参考訳（メタデータ） (2023-10-26T08:31:00Z) - XSemPLR: Cross-Lingual Semantic Parsing in Multiple Natural Languages
and Meaning Representations [25.50509874992198]
Cross-Lingual Semantic Parsingは、複数の自然言語のクエリを意味表現に変換することを目的としている。
既存のCLSPモデルは個別に提案され、限られたタスクやアプリケーションのデータセット上で評価される。
XSemPLRは、22の自然言語と8つの意味表現を特徴とする言語間意味解析のための統一的なベンチマークである。
論文 参考訳（メタデータ） (2023-06-07T01:09:37Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - Demonstrate-Search-Predict: Composing retrieval and language models for
knowledge-intensive NLP [77.817293104436]
本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。
我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
論文 参考訳（メタデータ） (2022-12-28T18:52:44Z) - XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
本稿では,言語間移動学習の現状を解析する。
XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
論文 参考訳（メタデータ） (2021-04-15T12:26:12Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z) - Cross-lingual Information Retrieval with BERT [8.052497255948046]
本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。
BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。
短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-04-24T23:32:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。