論文の概要: Scaling up COMETKIWI: Unbabel-IST 2023 Submission for the Quality Estimation Shared Task

• arxiv url: http://arxiv.org/abs/2309.11925v1
• Date: Thu, 21 Sep 2023 09:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:00:57.739689
• Title: Scaling up COMETKIWI: Unbabel-IST 2023 Submission for the Quality Estimation Shared Task
• Title（参考訳）: COMETKIWI:Unbabel-IST 2023による品質評価共有タスクのスケールアップ
• Authors: Ricardo Rei, Nuno M. Guerreiro, Jos\'e Pombal, Daan van Stigt, Marcos Treviso, Luisa Coheur, Jos\'e G.C. de Souza, Andr\'e F.T. Martins
• Abstract要約: We present the joint contribution of Unbabel and Instituto Superior T'ecnico to the WMT 2023 Shared Task on Quality Estimation (QE)。 私たちのチームは、文レベルと単語レベルの品質予測(タスク1)ときめ細かいエラースパン検出(タスク2)という、すべてのタスクに参加しました。 我々の多言語的アプローチは、すべてのタスクにおいて第一にランク付けされ、単語、スパン、文レベルの判断における品質評価のための最先端のパフォーマンスに到達します。
• 参考スコア（独自算出の注目度）: 11.681598828340912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the joint contribution of Unbabel and Instituto Superior T\'ecnico to the WMT 2023 Shared Task on Quality Estimation (QE). Our team participated on all tasks: sentence- and word-level quality prediction (task 1) and fine-grained error span detection (task 2). For all tasks, we build on the COMETKIWI-22 model (Rei et al., 2022b). Our multilingual approaches are ranked first for all tasks, reaching state-of-the-art performance for quality estimation at word-, span- and sentence-level granularity. Compared to the previous state-of-the-art COMETKIWI-22, we show large improvements in correlation with human judgements (up to 10 Spearman points). Moreover, we surpass the second-best multilingual submission to the shared-task with up to 3.8 absolute points.
• Abstract（参考訳）: 本稿では,wmt 2023におけるunbabel と instituto superior t\'ecnico の共同研究について述べる。 我々のチームは文と単語レベルの品質予測(タスク1)ときめ細かいエラースパン検出(タスク2)のすべてのタスクに参加しました。 すべてのタスクに対して、COMETKIWI-22モデル(Rei et al., 2022b)を構築します。 我々の多言語アプローチは、すべてのタスクにおいて第一にランクされ、単語、スパン、文レベルの粒度における品質評価のための最先端のパフォーマンスに達する。 従来のCOMETKIWI-22と比較して,人間の判断と相関(最大10Spearman点)が大きく改善した。 さらに、最大3.8の絶対点を持つ共有タスクへの2番目に高い多言語提案を超越する。

関連論文リスト

• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• NAVER LABS Europe's Multilingual Speech Translation Systems for the IWSLT 2023 Low-Resource Track [78.80683163990446]
  本稿では,IWSLT 2023low-Resource trackにおけるタマシェク・フレンチ・ケチュア・スペイン語音声翻訳のためのNAVER LABS Europeのシステムについて述べる。 本研究は,多言語パラメータ効率ソリューションを用いた低リソース環境における翻訳品質の最大化を試みる。
  論文  参考訳（メタデータ） (2023-06-13T13:22:30Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task [11.716878242203267]
  WMT2022におけるISTとUnbabelの協力による品質評価の共有タスク(QE)について述べる。 研究チームは3つのサブタスク(i)文と単語レベルの品質予測,(ii)説明可能なQE,(iii)クリティカルエラー検出)に参加した。
  論文  参考訳（メタデータ） (2022-09-13T18:05:12Z)
• UniTE: Unified Translation Evaluation [63.58868113074476]
  UniTEは3つの評価タスクをすべて処理する能力に携わる最初の統合フレームワークである。 We testify our framework on WMT 2019 Metrics and WMT 2020 Quality Estimation benchmarks。
  論文  参考訳（メタデータ） (2022-04-28T08:35:26Z)
• Handshakes AI Research at CASE 2021 Task 1: Exploring different approaches for multilingual tasks [0.22940141855172036]
  ケース2021共有タスク1の目的は,多言語環境下での社会・政治・危機事象情報の検出と分類である。 提案書にはすべてのサブタスクのエントリが含まれており,得られたスコアが調査結果の妥当性を検証した。
  論文  参考訳（メタデータ） (2021-10-29T07:58:49Z)
• Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
  本稿では,WMT 2021 QE共有タスクの提出について論じる。 提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。 ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
  論文  参考訳（メタデータ） (2021-09-08T20:13:06Z)
• Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning [0.07614628596146598]
  本稿では,SemEval-2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) への貢献について述べる。 実験は、タスクの多言語設定から英語(en-en)サブトラックをカバーする。 Cosine similarity と ReLU の活性化の組み合わせにより、最も効果的な微調整手順が導かれる。
  論文  参考訳（メタデータ） (2021-04-13T18:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。