論文の概要: Findings of the WMT 2024 Shared Task on Chat Translation

• arxiv url: http://arxiv.org/abs/2410.11624v1
• Date: Tue, 15 Oct 2024 14:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:38.231427
• Title: Findings of the WMT 2024 Shared Task on Chat Translation
• Title（参考訳）: チャット翻訳におけるWMT 2024共有タスクの発見
• Authors: Wafaa Mohammed, Sweta Agrawal, M. Amin Farajian, Vera Cabarrão, Bryan Eikema, Ana C. Farinha, José G. C. de Souza,
• Abstract要約: 本稿では,第3版チャット翻訳共有タスクの結果について述べる。 この課題は、二言語的カスタマーサポート会話の翻訳、特に翻訳品質と評価における会話コンテキストの影響に焦点を当てることであった。 私たちは8つのチームから22のプライマリ・サブミットと32のコントラスト・サブミットを受け取り、それぞれの言語ペアは少なくとも3つのチームから参加しました。
• 参考スコア（独自算出の注目度）: 4.800626318046925
• License:
• Abstract: This paper presents the findings from the third edition of the Chat Translation Shared Task. As with previous editions, the task involved translating bilingual customer support conversations, specifically focusing on the impact of conversation context in translation quality and evaluation. We also include two new language pairs: English-Korean and English-Dutch, in addition to the set of language pairs from previous editions: English-German, English-French, and English-Brazilian Portuguese. We received 22 primary submissions and 32 contrastive submissions from eight teams, with each language pair having participation from at least three teams. We evaluated the systems comprehensively using both automatic metrics and human judgments via a direct assessment framework. The official rankings for each language pair were determined based on human evaluation scores, considering performance in both translation directions--agent and customer. Our analysis shows that while the systems excelled at translating individual turns, there is room for improvement in overall conversation-level translation quality.
• Abstract（参考訳）: 本稿では,第3版チャット翻訳共有タスクの結果について述べる。 前版と同様に、このタスクはバイリンガルなカスタマーサポート会話を翻訳することであり、特に翻訳品質と評価における会話コンテキストの影響に焦点を当てている。 また、英語-韓国語と英語-オランダ語という2つの新しい言語対に加えて、以前の版(英語-ドイツ語、英語-フランス語、英語-ブラジルポルトガル語)の言語対も含んでいます。 私たちは8つのチームから22のプライマリ・サブミットと32のコントラスト・サブミットを受け取り、それぞれの言語ペアは少なくとも3つのチームから参加しました。 自動測定と人的判断の両方を直接評価フレームワークを用いて総合的に評価した。 各言語対の公式ランキングは,翻訳指導者,顧客双方のパフォーマンスを考慮し,人的評価スコアに基づいて決定された。 分析の結果,個々のターンの翻訳に優れたシステムではあるものの,会話レベルの翻訳品質が向上する余地があることが示唆された。

関連論文リスト

• Findings of the IWSLT 2024 Evaluation Campaign [102.7608597658451]
  本稿は、第21回IWSLT会議によって組織された共有タスクについて報告する。 共通タスクは、音声翻訳における7つの科学的課題に対処する。
  論文  参考訳（メタデータ） (2024-11-07T19:11:55Z)
• Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation [50.60733773088296]
  音声言語翻訳国際ワークショップ(IWSLT 2023)における共有タスクの結果を総合的に評価する。 本稿では,セグメントコンテキストによる自動回帰と直接評価に基づく効果的な評価戦略を提案する。 分析の結果,1) 提案した評価戦略は頑健であり,他の種類の人的判断とよく相関している,2) 自動測定基準は通常,必ずしも直接評価スコアとよく関連しているわけではない,3) COMET は chrF よりもわずかに強い自動測定基準である,といった結果を得た。
  論文  参考訳（メタデータ） (2024-06-06T09:18:42Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models [107.83158521848372]
  我々は,従来のモノリンガルおよびバイリンガルの目的を,グラフト法と呼ばれる新しい手法で三言語的目的に加速する分野において,最初のテキストbfTriangular Document-level textbfPre-training(textbfTRIP)を提案する。 TRIPは、3つの多言語文書レベルの機械翻訳ベンチマークと1つの言語間抽象的な要約ベンチマークで、最大3.11d-BLEU点と8.9ROUGE-L点の一貫性のある改善を含む、強力なSOTAスコアを達成している。
  論文  参考訳（メタデータ） (2022-12-15T12:14:25Z)
• MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages [54.002969723086075]
  16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。 反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。 第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-07-02T06:54:10Z)
• RuArg-2022: Argument Mining Evaluation [69.87149207721035]
  本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。 新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。 両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
  論文  参考訳（メタデータ） (2022-06-18T17:13:37Z)
• Consistent Human Evaluation of Machine Translation across Language Pairs [21.81895199744468]
  本稿では, 意味的等価性に着目したXSTSと呼ばれる新しい計量法と, 言語間キャリブレーション法を提案する。 最大14言語対にわたる大規模評価研究において,これらの新規貢献の有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-17T17:57:06Z)
• Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
  本稿では,WMT 2021 QE共有タスクの提出について論じる。 提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。 ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
  論文  参考訳（メタデータ） (2021-09-08T20:13:06Z)
• FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task [36.51221186190272]
  IWSLT 2021評価キャンペーンに提出したエンドツーエンドの多言語音声翻訳システムについて述べる。 本システムは,モダリティ,タスク,言語間の伝達学習を活用して構築する。
  論文  参考訳（メタデータ） (2021-07-14T19:43:44Z)
• Lost in Interpreting: Speech Translation from Source or Interpreter? [0.0]
  チェコ語とドイツ語を同時に解釈しながら、欧州議会の演説を英語で10時間の録音と書き起こしを公開します。 話者ベースおよびインタプリタベース音声翻訳システムの品質とレイテンシを英語からチェコ語に比較検討した。
  論文  参考訳（メタデータ） (2021-06-17T09:32:49Z)
• Evaluating the Efficacy of Summarization Evaluation across Languages [33.46519116869276]
  我々は8つの異なる言語に対する要約コーパスを取り、フォーカス(精度)とカバレッジ(リコール)のために手動で生成された要約を注釈付けする。 BERTScoreにおける多言語BERTの使用は、英語よりも高いレベルにおいて、すべての言語でうまく機能することがわかった。
  論文  参考訳（メタデータ） (2021-06-02T21:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。