論文の概要: Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-Sentence Dependency Graph

• arxiv url: http://arxiv.org/abs/2112.00503v1
• Date: Wed, 1 Dec 2021 13:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:26:35.258502
• Title: Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-Sentence Dependency Graph
• Title（参考訳）: 文間依存グラフによるゼロショット言語間機械読解理解
• Authors: Liyan Xu, Xuchao Zhang, Bo Zong, Yanchi Liu, Wei Cheng, Jingchao Ni, Haifeng Chen, Liang Zhao, Jinho D. Choi
• Abstract要約: 我々は,Universal Dependencies (UD) の構文的特徴を取り入れ,直接ゼロショット設定における言語間機械読解(MRC)の課題をターゲットにしている。 文間のグローバルな構文関係を形成するために,依存関係木を接続する文間依存グラフ(ISDG)を構築した。 次に、グローバル依存グラフを符号化するIDDGエンコーダを提案し、ワンホップとマルチホップの依存関係パスの両方を通して、文間関係を明示的に解決する。
• 参考スコア（独自算出の注目度）: 47.451893128956065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We target the task of cross-lingual Machine Reading Comprehension (MRC) in the direct zero-shot setting, by incorporating syntactic features from Universal Dependencies (UD), and the key features we use are the syntactic relations within each sentence. While previous work has demonstrated effective syntax-guided MRC models, we propose to adopt the inter-sentence syntactic relations, in addition to the rudimentary intra-sentence relations, to further utilize the syntactic dependencies in the multi-sentence input of the MRC task. In our approach, we build the Inter-Sentence Dependency Graph (ISDG) connecting dependency trees to form global syntactic relations across sentences. We then propose the ISDG encoder that encodes the global dependency graph, addressing the inter-sentence relations via both one-hop and multi-hop dependency paths explicitly. Experiments on three multilingual MRC datasets (XQuAD, MLQA, TyDiQA-GoldP) show that our encoder that is only trained on English is able to improve the zero-shot performance on all 14 test sets covering 8 languages, with up to 3.8 F1 / 5.2 EM improvement on-average, and 5.2 F1 / 11.2 EM on certain languages. Further analysis shows the improvement can be attributed to the attention on the cross-linguistically consistent syntactic path.
• Abstract（参考訳）: 我々は,汎用依存関係(ud)からの構文的特徴を組み込むことにより,直接ゼロショット設定における言語間機械読解(mrc)のタスクを目標とし,各文における構文的関係を重要視する。 先行研究では,mrcタスクのマルチセンテンス入力における構文依存性をさらに活用するために,基本的イントラセンス関係に加えて,イントラセンテンス間の構文関係を採用することを提案する。 本手法では,係り受け木を連結した文間依存グラフ(ISDG)を構築し,文間の大域的構文関係を形成する。 次に、グローバル依存グラフを符号化するIDDGエンコーダを提案し、ワンホップとマルチホップの依存関係パスの両方を通して、文間関係を明示的に解決する。 3つの多言語MRCデータセット(XQuAD、MLQA、TyDiQA-GoldP)の実験では、英語でのみ訓練されたエンコーダは、8つの言語をカバーする14のテストセットすべてでゼロショット性能を向上でき、平均3.8 F1 / 5.2 EMの改善と、特定の言語で5.2 F1 / 11.2 EMを実現している。 さらなる分析は、言語間一貫した構文経路に注意を向けることによる改善が可能であることを示している。

関連論文リスト

• Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning [22.389718537939174]
  事象因果同定(英: Event Causality Identification、ECI)とは、テキスト中の事象間の因果関係を検出すること。 文書レベルのECIのための多粒性コントラスト変換学習(GIMC)を用いた異種グラフ相互作用モデルを提案する。 筆者らのフレームワークは, 単言語および多言語シナリオの平均F1スコアの9.4%と8.2%で, 従来の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-03-05T11:57:21Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• Coreference-aware Double-channel Attention Network for Multi-party Dialogue Reading Comprehension [7.353227696624305]
  MDRC(Multi-party Dialogue Reading)に挑戦する MDRCは、複数のインターロケータ間の対話に基づく抽出読解タスクの略である。 推論能力を高めるためのコア推論対応アテンションモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T05:01:29Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Improving Retrieval Augmented Neural Machine Translation by Controlling Source and Fuzzy-Match Interactions [15.845071122977158]
  本稿では,トップkのドメイン内ファジィマッチングが元文に現れるRAT(Retrieval Augmented Translation)のアイデアに基づいて構築する。 本稿では,ソース文とトップkファジィなターゲット言語マッチング間のインタラクションを制御する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-10T23:33:15Z)
• Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
  提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。 実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-10-09T02:24:35Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。