論文の概要: TransWiC at SemEval-2021 Task 2: Transformer-based Multilingual and
Cross-lingual Word-in-Context Disambiguation
- arxiv url: http://arxiv.org/abs/2104.04632v1
- Date: Fri, 9 Apr 2021 23:06:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 08:49:10.245158
- Title: TransWiC at SemEval-2021 Task 2: Transformer-based Multilingual and
Cross-lingual Word-in-Context Disambiguation
- Title（参考訳）: TransWiC at SemEval-2021 Task 2: Transformer-based Multilingual and cross-lingual Word-in-Context Disambiguation
- Authors: Hansi Hettiarachchi, Tharindu Ranasinghe
- Abstract要約: 我々のアプローチは事前訓練されたトランスフォーマーモデルに基づいており、言語固有の処理やリソースは一切使用しない。
本モデルでは,英語サブタスクの精度が0.90であり,その精度は0.93である。
我々のアプローチは、他のモノリンガル言語とクロスランガル言語の組み合わせで満足できる結果も達成します。
- 参考スコア（独自算出の注目度）: 0.8883733362171032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying whether a word carries the same meaning or different meaning in
two contexts is an important research area in natural language processing which
plays a significant role in many applications such as question answering,
document summarisation, information retrieval and information extraction. Most
of the previous work in this area rely on language-specific resources making it
difficult to generalise across languages. Considering this limitation, our
approach to SemEval-2021 Task 2 is based only on pretrained transformer models
and does not use any language-specific processing and resources. Despite that,
our best model achieves 0.90 accuracy for English-English subtask which is very
compatible compared to the best result of the subtask; 0.93 accuracy. Our
approach also achieves satisfactory results in other monolingual and
cross-lingual language pairs as well.
- Abstract（参考訳）: ある単語が2つの文脈で同じ意味か異なる意味を持っているかを特定することは、自然言語処理において重要な研究領域であり、質問応答、文書要約、情報検索、情報抽出など多くの応用において重要な役割を果たす。
この分野における以前の研究のほとんどは言語固有のリソースに依存しており、言語をまたいだ一般化が難しい。
この制限を考慮すると、semeval-2021タスク2へのアプローチは、事前訓練されたトランスフォーマーモデルのみに基づいており、言語固有の処理やリソースを使用しない。
それにもかかわらず、我々の最良のモデルは英語のサブタスクに対して0.90の精度を達成する。
我々のアプローチは、他のモノリンガル言語と言語間のペアにおいても満足できる結果を得る。
関連論文リスト
- Event Extraction in Basque: Typologically motivated Cross-Lingual Transfer-Learning Analysis [18.25948580496853]
低リソース言語におけるイベント抽出では,言語間移動学習が広く用いられている。
本稿では,ソース言語とターゲット言語との類型的類似性が,言語間移動の性能に与える影響について検討する。
論文 参考訳（メタデータ） (2024-04-09T15:35:41Z) - GradSim: Gradient-Based Language Grouping for Effective Multilingual
Training [13.730907708289331]
勾配類似度に基づく言語グループ化手法GradSimを提案する。
3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。
言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
論文 参考訳（メタデータ） (2023-10-23T18:13:37Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Persian Natural Language Inference: A Meta-learning approach [6.832341432995628]
本稿では,ペルシャ語で自然言語を推論するメタラーニング手法を提案する。
提案手法を4つの言語と補助課題を用いて評価する。
論文 参考訳（メタデータ） (2022-05-18T06:51:58Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳（メタデータ） (2022-04-16T16:08:38Z) - Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。
本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
論文 参考訳（メタデータ） (2022-04-05T17:12:53Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual
Word-in-Context Disambiguation using Augmented Data, Signals, and
Transformers [1.869621561196521]
我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。
目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。
多言語とクロスリンガルの両方の設定のためのシステムを提出します。
論文 参考訳（メタデータ） (2021-04-04T08:49:28Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。
メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。
我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
論文 参考訳（メタデータ） (2020-03-05T16:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。