論文の概要: AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
- arxiv url: http://arxiv.org/abs/2404.01490v1
- Date: Mon, 1 Apr 2024 21:21:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 20:27:20.497583
- Title: AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
- Title（参考訳）: AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
- Authors: Miaoran Zhang, Mingyang Wang, Jesujoba O. Alabi, Dietrich Klakow,
- Abstract要約: 本稿では,アフリカとアジアの言語に対するセマンティックテキスト関連性(SemEval-2024 Task 1: Semantic Textual Relatedness)について述べる。
本稿では,限られたトレーニングデータの低リソース化問題に対処するために,機械翻訳によるデータ拡張を提案する。
我々のシステムは、サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において、すべてのチームの中で最善を尽くします。
- 参考スコア（独自算出の注目度）: 16.896143197472114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents our system developed for the SemEval-2024 Task 1: Semantic Textual Relatedness for African and Asian Languages. The shared task aims at measuring the semantic textual relatedness between pairs of sentences, with a focus on a range of under-represented languages. In this work, we propose using machine translation for data augmentation to address the low-resource challenge of limited training data. Moreover, we apply task-adaptive pre-training on unlabeled task data to bridge the gap between pre-training and task adaptation. For model training, we investigate both full fine-tuning and adapter-based tuning, and adopt the adapter framework for effective zero-shot cross-lingual transfer. We achieve competitive results in the shared task: our system performs the best among all ranked teams in both subtask A (supervised learning) and subtask C (cross-lingual transfer).
- Abstract（参考訳）: 本稿では,SemEval-2024 Task 1: Semantic Textual Relatedness for African and Asian Languagesについて述べる。
共有タスクは文のペア間の意味的テキスト関連性を測定することを目的としており、表現不足の言語に焦点をあてている。
本研究では,限られた学習データに対する低リソースな課題に対処するために,機械翻訳によるデータ拡張を提案する。
さらに、未ラベルタスクデータにタスク適応型事前学習を適用し、事前学習とタスク適応のギャップを埋める。
モデルトレーニングでは、フル微調整とアダプタベースのチューニングの両方について検討し、効果的なゼロショット言語間転送のためのアダプタフレームワークを採用する。
当社のシステムは,サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において,すべてのチームの中で最善を尽くしています。
関連論文リスト
- AdaMergeX: Cross-Lingual Transfer with Large Language Models via
Adaptive Adapter Merging [96.39773974044041]
言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。
本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。
実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
論文 参考訳（メタデータ） (2024-02-29T07:11:24Z) - Rethinking and Improving Multi-task Learning for End-to-end Speech
Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。
テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。
長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T08:48:46Z) - ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text
Translation [79.66359274050885]
公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。
提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
論文 参考訳（メタデータ） (2023-05-24T07:42:15Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳（メタデータ） (2022-10-31T13:26:08Z) - OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual
Idiomaticity Detection [4.111899441919165]
文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。
我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
論文 参考訳（メタデータ） (2022-06-07T05:52:43Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳（メタデータ） (2022-04-16T16:08:38Z) - Zero-Shot Information Extraction as a Unified Text-to-Triple Translation [56.01830747416606]
我々は、テキストから3つの翻訳フレームワークに一連の情報抽出タスクを投入した。
タスク固有の入力テキストと出力トリプルの変換としてタスクを形式化する。
本稿では,オープン情報抽出におけるゼロショット性能について検討する。
論文 参考訳（メタデータ） (2021-09-23T06:54:19Z) - MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual
Word-in-Context Disambiguation using Augmented Data, Signals, and
Transformers [1.869621561196521]
我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。
目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。
多言語とクロスリンガルの両方の設定のためのシステムを提出します。
論文 参考訳（メタデータ） (2021-04-04T08:49:28Z) - English Intermediate-Task Training Improves Zero-Shot Cross-Lingual
Transfer Too [42.95481834479966]
中間タスクトレーニングは、モノリンガル英語設定における言語理解タスクにおけるモデルパフォーマンスを大幅に改善する。
XTREMEベンチマークのゼロショットクロスランガル設定における中間タスク転送の評価を行った。
対象タスク毎に最適な中間タスクモデルを用いて,XLM-R Largeよりも5.4ポイント改善した。
論文 参考訳（メタデータ） (2020-05-26T20:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。