Fugu-MT 論文翻訳(概要): Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning

論文の概要: Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning

arxiv url: http://arxiv.org/abs/2104.06439v1
Date: Tue, 13 Apr 2021 18:28:58 GMT
ステータス: 処理完了
システム内更新日: 2021-04-15 13:25:08.881319
Title: Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning
Title（参考訳）: SemEval-2021 Task 2: ReLU over Cosine similarity for BERT Fine-tuning (英語)
Authors: Boris Zhestiankin and Maria Ponomareva
Abstract要約: 本稿では,SemEval-2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) への貢献について述べる。実験は、タスクの多言語設定から英語(en-en)サブトラックをカバーする。 Cosine similarity と ReLU の活性化の組み合わせにより、最も効果的な微調整手順が導かれる。
参考スコア（独自算出の注目度）: 0.07614628596146598
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents our contribution to SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation (MCL-WiC). Our experiments cover English (EN-EN) sub-track from the multilingual setting of the task. We experiment with several pre-trained language models and investigate an impact of different top-layers on fine-tuning. We find the combination of Cosine Similarity and ReLU activation leading to the most effective fine-tuning procedure. Our best model results in accuracy 92.7%, which is the fourth-best score in EN-EN sub-track.
Abstract（参考訳）: 本稿では,SemEval-2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) への貢献について述べる。実験は、タスクの多言語設定から英語(en-en)サブトラックをカバーする。事前学習した言語モデルをいくつか実験し,様々なトップ層が微調整に与える影響について検討した。 Cosine similarity と ReLU の活性化の組み合わせにより、最も効果的な微調整手順が導かれる。我々の最良のモデルは精度92.7%であり、EN-ENサブトラックでは4番目に高いスコアである。

関連論文リスト

Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文参考訳（メタデータ） (2023-11-07T08:48:46Z)
Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文参考訳（メタデータ） (2023-09-23T01:52:14Z)
Scaling up COMETKIWI: Unbabel-IST 2023 Submission for the Quality Estimation Shared Task [11.681598828340912]
We present the joint contribution of Unbabel and Instituto Superior T'ecnico to the WMT 2023 Shared Task on Quality Estimation (QE)。私たちのチームは、文レベルと単語レベルの品質予測(タスク1)ときめ細かいエラースパン検出(タスク2)という、すべてのタスクに参加しました。我々の多言語的アプローチは、すべてのタスクにおいて第一にランク付けされ、単語、スパン、文レベルの判断における品質評価のための最先端のパフォーマンスに到達します。
論文参考訳（メタデータ） (2023-09-21T09:38:56Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding [56.756090143062536]
本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。提案手法はインテント検出とスロット充足の両方の性能を向上させる。
論文参考訳（メタデータ） (2023-01-05T11:21:15Z)
BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。本システムでは,0.810と0.946のCOMETスコアを達成している。
論文参考訳（メタデータ） (2022-11-28T02:35:04Z)
HYU at SemEval-2022 Task 2: Effective Idiomaticity Detection with Consideration at Different Levels of Contextualization [6.850627526999892]
異なるレベルでコンテキスト化の様々な側面を考慮できる統一的なフレームワークを提案する。提案手法は, 関連モデルの性能向上に有効であることを示す。
論文参考訳（メタデータ） (2022-06-01T10:45:40Z)
Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
本稿では,WMT 2021 QE共有タスクの提出について論じる。提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
論文参考訳（メタデータ） (2021-09-08T20:13:06Z)
The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文参考訳（メタデータ） (2021-07-24T09:53:34Z)
ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language Model for Reading Comprehension of Abstract Meaning [16.151203366447962]
モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。 ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
論文参考訳（メタデータ） (2021-02-25T13:03:05Z)
ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model for offensive language detection [0.6445605125467572]
我々は,提案言語にまたがる課題に対処するために,多言語BERTを微調整した単一モデルを共同で訓練した。私たちの単一モデルは、最高のパフォーマンスシステムに近いパフォーマンスで、競争力のある結果を得ました。
論文参考訳（メタデータ） (2020-08-13T16:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。