論文の概要: XLTime: A Cross-Lingual Knowledge Transfer Framework for Temporal
Expression Extraction
- arxiv url: http://arxiv.org/abs/2205.01757v1
- Date: Tue, 3 May 2022 20:00:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 13:33:52.629074
- Title: XLTime: A Cross-Lingual Knowledge Transfer Framework for Temporal
Expression Extraction
- Title(参考訳): XLTime:時間的表現抽出のための言語間知識伝達フレームワーク
- Authors: Yuwei Cao, William Groves, Tanay Kumar Saha, Joel R. Tetreault, Alex
Jaimes, Hao Peng, and Philip S. Yu
- Abstract要約: テンポラル表現抽出(TEE)は自然言語の時間理解に不可欠である。
現在、この領域での作業は、他の言語に対するラベル付きデータが不足しているため、主に英語に焦点を当てている。
我々は,多言語TEEのための新しいフレームワークであるXLTimeを提案する。
- 参考スコア(独自算出の注目度): 63.39190486298887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal Expression Extraction (TEE) is essential for understanding time in
natural language. It has applications in Natural Language Processing (NLP)
tasks such as question answering, information retrieval, and causal inference.
To date, work in this area has mostly focused on English as there is a scarcity
of labeled data for other languages. We propose XLTime, a novel framework for
multilingual TEE. XLTime works on top of pre-trained language models and
leverages multi-task learning to prompt cross-language knowledge transfer both
from English and within the non-English languages. XLTime alleviates problems
caused by a shortage of data in the target language. We apply XLTime with
different language models and show that it outperforms the previous automatic
SOTA methods on French, Spanish, Portuguese, and Basque, by large margins.
XLTime also closes the gap considerably on the handcrafted HeidelTime method.
- Abstract(参考訳): テンポラル表現抽出(TEE)は自然言語の時間理解に不可欠である。
自然言語処理(NLP)タスクには、質問応答、情報検索、因果推論などの応用がある。
現在、この領域での作業は、他の言語に対するラベル付きデータが不足しているため、主に英語に焦点を当てている。
多言語TEEのための新しいフレームワークであるXLTimeを提案する。
XLTimeは事前訓練された言語モデル上で動作し、マルチタスク学習を活用して、英語と非英語の両方から言語間の知識の伝達を促す。
XLTimeは、ターゲット言語におけるデータの不足に起因する問題を緩和する。
我々は、XLTimeを異なる言語モデルで適用し、フランス語、スペイン語、ポルトガル語、バスク語における従来のSOTAメソッドよりも大きなマージンで優れていることを示す。
XLTimeは、手作りのHeidelTimeメソッドのギャップをかなり埋める。
関連論文リスト
- LEIA: Facilitating Cross-Lingual Knowledge Transfer in Language Models
with Entity-based Data Augmentation [25.967369103344588]
言語間で整列したウィキペディアのエンティティ名を利用する言語適応チューニング手法であるLEIAを紹介する。
この方法は、ターゲット言語コーパスを英語のエンティティ名で拡張し、左から右への言語モデリングを用いてモデルを訓練することを含む。
論文 参考訳(メタデータ) (2024-02-18T07:24:34Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for
Programming Languages [37.60016772021422]
同じプログラミング言語(PL)を扱うソフトウェアエンジニアは、異なる自然言語(NL)を話し、その逆も話す。
近年の研究では、コンピュータプログラムにおける生成前訓練の有効性が実証されているが、それらは常に英語中心である。
ERNIE-Codeは116個のNLと6個のPLのための統合事前学習言語モデルである。
論文 参考訳(メタデータ) (2022-12-13T17:21:44Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳(メタデータ) (2022-04-16T16:08:38Z) - Zero-Shot Dependency Parsing with Worst-Case Aware Automated Curriculum
Learning [5.865807597752895]
我々は、自動カリキュラム学習に依存するマルチタスク学習の手法を採用し、外来言語の性能解析を動的に最適化する。
この手法はゼロショット設定における一様・一様サンプリングよりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2022-03-16T11:33:20Z) - One Question Answering Model for Many Languages with Cross-lingual Dense
Passage Retrieval [39.061900747689094]
CORAはクロスランガルなオープン・レトリーバル・アンサー・ジェネレーション・モデルである。
言語固有の注釈付きデータや知識ソースが利用できない場合でも、多くの言語で質問に答えることができる。
論文 参考訳(メタデータ) (2021-07-26T06:02:54Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。