Fugu-MT 論文翻訳(概要): OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection

論文の概要: OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection

arxiv url: http://arxiv.org/abs/2206.03025v1
Date: Tue, 7 Jun 2022 05:52:43 GMT
ステータス: 処理完了
システム内更新日: 2022-06-09 04:33:03.393947
Title: OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection
Title（参考訳）: OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection
Authors: Lis Kanashiro Pereira, Ichiro Kobayashi
Abstract要約: 文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
参考スコア（独自算出の注目度）: 4.111899441919165
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a multilingual adversarial training model for determining whether a sentence contains an idiomatic expression. Given that a key challenge with this task is the limited size of annotated data, our model relies on pre-trained contextual representations from different multi-lingual state-of-the-art transformer-based language models (i.e., multilingual BERT and XLM-RoBERTa), and on adversarial training, a training method for further enhancing model generalization and robustness. Without relying on any human-crafted features, knowledge bases, or additional datasets other than the target datasets, our model achieved competitive results and ranked 6th place in SubTask A (zero-shot) setting and 15th place in SubTask A (one-shot) setting.
Abstract（参考訳）: 文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。このタスクにおける重要な課題は、注釈付きデータの限られたサイズであることを考えると、我々のモデルは、異なる多言語変換言語モデル(例えば、多言語BERTとXLM-RoBERTa)からの事前学習された文脈表現と、モデル一般化とロバスト性をさらに強化する学習方法に依存する。人為的な特徴や知識ベース、あるいはターゲットデータセット以外のデータセットに頼ることなく、私たちのモデルは競争の結果を達成し、SubTask A(ゼロショット)設定で6位、SubTask A(ワンショット)設定で15位にランク付けしました。

関連論文リスト

Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Hitachi at SemEval-2023 Task 3: Exploring Cross-lingual Multi-task Strategies for Genre and Framing Detection in Online News [10.435874177179764]
本稿では,日立チームによるSemEval-2023タスク3への参加について解説する。本研究では,事前学習した言語モデルの学習のための多言語・多タスク戦略について検討した。結果からアンサンブルモデルを構築し,イタリアおよびロシアのジャンル分類サブタスクにおいて,マクロ平均F1スコアを達成した。
論文参考訳（メタデータ） (2023-03-03T09:12:55Z)
Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models [12.759281077118567]
多言語トランスフォーマーに基づく言語モデルは、言語間のゼロショット転送において驚くほど効果的であることが観察されている。我々は,タスク上のゼロショット性能をマルチタスク学習問題としてモデル化することにより,タスク上のゼロショット性能を予測するための既存の手法を構築した。
論文参考訳（メタデータ） (2022-05-12T14:47:03Z)
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文参考訳（メタデータ） (2022-04-16T16:08:38Z)
Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
複数の言語をサポートするエンドツーエンドシステムを開発した。我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
論文参考訳（メタデータ） (2021-09-28T04:43:11Z)
From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
論文参考訳（メタデータ） (2021-05-15T23:51:11Z)
OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。本モデルは,両サブタスクの上位10システムにランクインした。
論文参考訳（メタデータ） (2021-05-12T09:27:46Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)
CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文参考訳（メタデータ） (2020-06-11T13:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。