論文の概要: XLTime: A Cross-Lingual Knowledge Transfer Framework for Temporal Expression Extraction

• arxiv url: http://arxiv.org/abs/2205.01757v1
• Date: Tue, 3 May 2022 20:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 13:33:52.629074
• Title: XLTime: A Cross-Lingual Knowledge Transfer Framework for Temporal Expression Extraction
• Title（参考訳）: XLTime:時間的表現抽出のための言語間知識伝達フレームワーク
• Authors: Yuwei Cao, William Groves, Tanay Kumar Saha, Joel R. Tetreault, Alex Jaimes, Hao Peng, and Philip S. Yu
• Abstract要約: テンポラル表現抽出(TEE)は自然言語の時間理解に不可欠である。 現在、この領域での作業は、他の言語に対するラベル付きデータが不足しているため、主に英語に焦点を当てている。 我々は,多言語TEEのための新しいフレームワークであるXLTimeを提案する。
• 参考スコア（独自算出の注目度）: 63.39190486298887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal Expression Extraction (TEE) is essential for understanding time in natural language. It has applications in Natural Language Processing (NLP) tasks such as question answering, information retrieval, and causal inference. To date, work in this area has mostly focused on English as there is a scarcity of labeled data for other languages. We propose XLTime, a novel framework for multilingual TEE. XLTime works on top of pre-trained language models and leverages multi-task learning to prompt cross-language knowledge transfer both from English and within the non-English languages. XLTime alleviates problems caused by a shortage of data in the target language. We apply XLTime with different language models and show that it outperforms the previous automatic SOTA methods on French, Spanish, Portuguese, and Basque, by large margins. XLTime also closes the gap considerably on the handcrafted HeidelTime method.
• Abstract（参考訳）: テンポラル表現抽出(TEE)は自然言語の時間理解に不可欠である。 自然言語処理(NLP)タスクには、質問応答、情報検索、因果推論などの応用がある。 現在、この領域での作業は、他の言語に対するラベル付きデータが不足しているため、主に英語に焦点を当てている。 多言語TEEのための新しいフレームワークであるXLTimeを提案する。 XLTimeは事前訓練された言語モデル上で動作し、マルチタスク学習を活用して、英語と非英語の両方から言語間の知識の伝達を促す。 XLTimeは、ターゲット言語におけるデータの不足に起因する問題を緩和する。 我々は、XLTimeを異なる言語モデルで適用し、フランス語、スペイン語、ポルトガル語、バスク語における従来のSOTAメソッドよりも大きなマージンで優れていることを示す。 XLTimeは、手作りのHeidelTimeメソッドのギャップをかなり埋める。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator [104.63314132355221]
  素早い学習による言語間移動は有望な効果を示した。 我々は,MPT(Multilingual Prompt Translator)という新しいフレームワークを提案する。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。
  論文  参考訳（メタデータ） (2024-03-19T03:35:18Z)
• LEIA: Facilitating Cross-lingual Knowledge Transfer in Language Models with Entity-based Data Augmentation [21.980770995466134]
  言語間で整列したウィキペディアのエンティティ名を利用する言語適応チューニング手法であるLEIAを紹介する。 この方法は、ターゲット言語コーパスを英語のエンティティ名で拡張し、左から右への言語モデリングを用いてモデルを訓練することを含む。
  論文  参考訳（メタデータ） (2024-02-18T07:24:34Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages [37.60016772021422]
  同じプログラミング言語(PL)を扱うソフトウェアエンジニアは、異なる自然言語(NL)を話し、その逆も話す。 近年の研究では、コンピュータプログラムにおける生成前訓練の有効性が実証されているが、それらは常に英語中心である。 ERNIE-Codeは116個のNLと6個のPLのための統合事前学習言語モデルである。
  論文  参考訳（メタデータ） (2022-12-13T17:21:44Z)
• One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval [39.061900747689094]
  CORAはクロスランガルなオープン・レトリーバル・アンサー・ジェネレーション・モデルである。 言語固有の注釈付きデータや知識ソースが利用できない場合でも、多くの言語で質問に答えることができる。
  論文  参考訳（メタデータ） (2021-07-26T06:02:54Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。