論文の概要: Findings of the WMT 2023 Shared Task on Discourse-Level Literary Translation: A Fresh Orb in the Cosmos of LLMs

• arxiv url: http://arxiv.org/abs/2311.03127v1
• Date: Mon, 6 Nov 2023 14:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 14:12:24.941794
• Title: Findings of the WMT 2023 Shared Task on Discourse-Level Literary Translation: A Fresh Orb in the Cosmos of LLMs
• Title（参考訳）: WMT2023の談話レベル文学翻訳における共有課題の発見:LLMの宇宙における新しいオーブ
• Authors: Longyue Wang, Zhaopeng Tu, Yan Gu, Siyou Liu, Dian Yu, Qingsong Ma, Chenyang Lyu, Liting Zhou, Chao-Hong Liu, Yufeng Ma, Weiyu Chen, Yvette Graham, Bonnie Webber, Philipp Koehn, Andy Way, Yulin Yuan, Shuming Shi
• Abstract要約: 我々は、著作権と文書レベルの中国英語ウェブ小説コーパスをリリースする。 今年は7つのアカデミックチームと業界チームから14の応募を受け取りました。 システムの公式ランキングは、全体的な人間の判断に基づいている。
• 参考スコア（独自算出の注目度）: 80.05205710881789
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Translating literary works has perennially stood as an elusive dream in machine translation (MT), a journey steeped in intricate challenges. To foster progress in this domain, we hold a new shared task at WMT 2023, the first edition of the Discourse-Level Literary Translation. First, we (Tencent AI Lab and China Literature Ltd.) release a copyrighted and document-level Chinese-English web novel corpus. Furthermore, we put forth an industry-endorsed criteria to guide human evaluation process. This year, we totally received 14 submissions from 7 academia and industry teams. We employ both automatic and human evaluations to measure the performance of the submitted systems. The official ranking of the systems is based on the overall human judgments. In addition, our extensive analysis reveals a series of interesting findings on literary and discourse-aware MT. We release data, system outputs, and leaderboard at http://www2.statmt.org/wmt23/literary-translation-task.html.
• Abstract（参考訳）: 文学作品の翻訳は、機械翻訳(MT)において、複雑な課題に突き当たった旅路として、長年の夢とされてきた。 この領域の進展を促進するため、我々は、ディスコース・レベル文学翻訳の第1版であるWMT 2023で新しい共有タスクを開催する。 まず、当社(Tencent AI LabとChina Literature Ltd.)は、著作権と文書レベルの中国英語ウェブ小説コーパスをリリースする。 さらに、人間評価プロセスを導くための業界支援基準も提示した。 今年は7つの学術チームと業界チームから14の応募を受け取りました。 提案システムの性能評価には,自動評価と人的評価の両方を用いる。 システムの公式ランキングは、全体的な人間の判断に基づいている。 我々は、データ、システム出力、リーダーボードをhttp://www2.statmt.org/wmt23/literary-translation-task.htmlでリリースしています。

関連論文リスト

• How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs [23.247387152595067]
  LITEVAL-CORPUSは、複数の検証された人間の翻訳と9つの機械翻訳システムからの出力を含む並列コーパスである。 非文学的人為的MT評価におけるデファクトスタンダードである多次元品質指標(MQM)は、文学翻訳には不十分であることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T12:48:03Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• LFED: A Literary Fiction Evaluation Dataset for Large Language Models [58.85989777743013]
  元々は中国語で書かれたか、中国語に翻訳された95の文学小説を収集し、数世紀にわたって幅広い話題を扱っている。 質問分類を8つのカテゴリーで定義し,1,304の質問の作成を導く。 我々は、小説の特定の属性(小説の種類、文字番号、出版年など)がLLMのパフォーマンスに与える影響を詳細に分析する。
  論文  参考訳（メタデータ） (2024-05-16T15:02:24Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• A Bilingual Parallel Corpus with Discourse Annotations [82.07304301996562]
  本稿では,Jiang et al. (2022)で最初に導入された大きな並列コーパスであるBWBと,注釈付きテストセットについて述べる。 BWBコーパスは、専門家によって英語に翻訳された中国の小説で構成されており、注釈付きテストセットは、様々な談話現象をモデル化する機械翻訳システムの能力を調査するために設計されている。
  論文  参考訳（メタデータ） (2022-10-26T12:33:53Z)
• Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature [35.1398797683712]
  文献翻訳者は, 機械翻訳段落よりも, 84%の割合で人文翻訳を好んでいる。 我々は、通常のMT出力よりも出力が好ましい後編集モデルを専門家によって69%の速度で訓練する。
  論文  参考訳（メタデータ） (2022-10-25T18:03:34Z)
• Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task [30.889496911261677]
  本稿では,WMT 2020 Metrics Shared Taskへのコントリビューションについて述べる。 我々は、移動学習に基づくメトリクスBLEURTに基づいていくつかの提案を行う。 BLEURTの予測とYiSiの予測を組み合わせ、代替参照変換を用いて性能を向上させる方法を示す。
  論文  参考訳（メタデータ） (2020-10-08T23:16:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。