論文の概要: Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction

• arxiv url: http://arxiv.org/abs/2203.08308v1
• Date: Tue, 15 Mar 2022 23:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:57:34.269843
• Title: Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
• Title（参考訳）: ゼロショット言語間イベント引数抽出のための多言語生成言語モデル
• Authors: Kuan-Hao Huang, I-Hung Hsu, Premkumar Natarajan, Kai-Wei Chang, Nanyun Peng
• Abstract要約: ゼロショット言語間イベント引数抽出(EAE)における多言語事前学習型生成言語モデルの活用について検討する。 EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。 提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。
• 参考スコア（独自算出の注目度）: 80.61458287741131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a study on leveraging multilingual pre-trained generative language models for zero-shot cross-lingual event argument extraction (EAE). By formulating EAE as a language generation task, our method effectively encodes event structures and captures the dependencies between arguments. We design language-agnostic templates to represent the event argument structures, which are compatible with any language, hence facilitating the cross-lingual transfer. Our proposed model finetunes multilingual pre-trained generative language models to generate sentences that fill in the language-agnostic template with arguments extracted from the input passage. The model is trained on source languages and is then directly applied to target languages for event argument extraction. Experiments demonstrate that the proposed model outperforms the current state-of-the-art models on zero-shot cross-lingual EAE. Comprehensive studies and error analyses are presented to better understand the advantages and the current limitations of using generative language models for zero-shot cross-lingual transfer EAE.
• Abstract（参考訳）: 本稿では,ゼロショットクロスリンガルイベント引数抽出(eae)のための多言語事前学習型生成言語モデルについて検討する。 EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。 我々は,任意の言語と互換性のあるイベント引数構造を表現するために,言語に依存しないテンプレートを設計した。 提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。 モデルはソース言語でトレーニングされ、イベント引数抽出のためにターゲット言語に直接適用される。 実験により、提案モデルがゼロショットクロスランガルAEにおいて現在の最先端モデルより優れていることが示された。 ゼロショット言語間伝達eaeにおける生成言語モデルの使用の利点と限界をよりよく理解するために,包括的研究と誤り解析を行った。

関連論文リスト

• Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
  大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。 このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T12:26:57Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Language Model Priming for Cross-Lingual Event Extraction [1.8734449181723827]
  本稿では,イベント抽出作業のための"プライミング"言語モデルに対する,言語に依存しない新しいアプローチを提案する。 本研究では,スパースおよびノイズの多い学習データの不足を言語モデルで補うことにより,ゼロショットの言語間設定において,引き起こしと引数の検出と分類の両面での精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-25T15:19:32Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。