論文の概要: Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning

• arxiv url: http://arxiv.org/abs/2403.02893v1
• Date: Tue, 5 Mar 2024 11:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 15:11:13.925934
• Title: Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning
• Title（参考訳）: ヘテロジニアスグラフコントラスト転送学習を用いたゼロショットクロスリンガル文書レベルの事象因果性同定
• Authors: Zhitao He, Pengfei Cao, Yubo Chen, Kang Liu, Zhiqiang Zhang, Mengshu Sun, Jun Zhao
• Abstract要約: 事象因果同定(英: Event Causality Identification、ECI)とは、テキスト中の事象間の因果関係を検出すること。 文書レベルのECIのための多粒性コントラスト変換学習(GIMC)を用いた異種グラフ相互作用モデルを提案する。 本フレームワークは, 単言語および多言語シナリオの平均F1スコアの9.4%と8.2%で, 従来の最先端モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 23.022459297741968
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Event Causality Identification (ECI) refers to detect causal relations between events in texts. However, most existing studies focus on sentence-level ECI with high-resource language, leaving more challenging document-level ECI (DECI) with low-resource languages under-explored. In this paper, we propose a Heterogeneous Graph Interaction Model with Multi-granularity Contrastive Transfer Learning (GIMC) for zero-shot cross-lingual document-level ECI. Specifically, we introduce a heterogeneous graph interaction network to model the long-distance dependencies between events that are scattered over document. Then, to improve cross-lingual transferability of causal knowledge learned from source language, we propose a multi-granularity contrastive transfer learning module to align the causal representations across languages. Extensive experiments show our framework outperforms previous state-of-the-art model by 9.4% and 8.2% of average F1 score on monolingual and multilingual scenarios respectively. Notably, in multilingual scenario, our zero-shot framework even exceeds GPT-3.5 with few-shot learning by 24.3% in overall performance.
• Abstract（参考訳）: Event Causality Identification (ECI)は、テキスト中のイベント間の因果関係を検出することを指す。 しかし、既存の研究の多くは高リソース言語による文レベルECIに焦点を当てており、低リソース言語による文書レベルECI(DECI)は未探索のままである。 本稿では,ゼロショット言語間文書レベルECIのための異種グラフ相互作用モデルと多粒性コントラスト変換学習(GIMC)を提案する。 具体的には,ドキュメント上に散在するイベント間の長距離依存関係をモデル化するヘテロジニアスグラフインタラクションネットワークを提案する。 次に,ソース言語から学習した因果関係知識の言語間伝達性を向上させるために,言語間の因果関係を整合させるマルチグラニュラ性コントラスト伝達学習モジュールを提案する。 大規模な実験により, 従来の最先端モデルよりも9.4%, 平均F1スコアの8.2%向上した。 特に、多言語シナリオでは、ゼロショットフレームワークはGPT-3.5を超え、全体的なパフォーマンスは24.3%向上した。

関連論文リスト

• Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
  いくつかの低リソース言語で新しい評価データセットを導入する。 我々は、機械翻訳の使用を含む、様々なアプローチを実験する。 言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
  論文  参考訳（メタデータ） (2024-09-30T07:59:41Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training [84.23022072347821]
  本稿では,弱整列型ビオテキスト入力の表現近接を制約する正規化言語間ビオテキストコントラスト学習目標を提案する。 6言語にまたがる5つの下流マルチモーダルタスクの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-13T14:41:05Z)
• Improving the Cross-Lingual Generalisation in Visual Question Answering [40.86774711775718]
  多言語視覚言語事前学習モデルは、非英語データに適用した場合、言語間一般化が不十分であることを示す。 本研究は、ゼロショット言語間視覚質問応答(VQA)タスクにおいて、これらのモデルの低性能について検討する。 我々は,(1)類似性に基づく損失によるクロスエントロピー損失を増大させる言語的事前目標を導入し,トレーニング中にモデルを導くこと,(2)言語的一般化を改善し,モデルの修正を伴わずに分散を低減するタスク固有のサブネットワークを学習すること,(3)合成コードを用いたトレーニング例を強化すること,の3つの戦略を用いて言語的事前移動を改善する。
  論文  参考訳（メタデータ） (2022-09-07T08:07:43Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)
• Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings [41.148892848434585]
  本稿では,バイリンガル辞書からのクロスリンガル信号のみを活用して,文脈埋め込みを感覚レベルで整列する新しい枠組みを提案する。 我々はまず,単語感覚を明示的にモデル化するために,新しい感覚認識型クロスエントロピー損失を提案する。 次に,言語間モデル事前学習のための感覚認識型クロスエントロピー損失と,複数の言語対に対する事前訓練型クロス言語モデルの上に,感覚アライメントの目的を提案する。
  論文  参考訳（メタデータ） (2021-03-11T04:55:35Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。