論文の概要: A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls

• arxiv url: http://arxiv.org/abs/2412.01340v2
• Date: Thu, 02 Jan 2025 03:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:34:58.263839
• Title: A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls
• Title（参考訳）: 自動翻訳評価のための2段階フレームワーク -その約束と落とし穴-
• Authors: Sheikh Shafayat, Dongkeun Yoon, Woori Jang, Jiwoo Choi, Alice Oh, Seohyon Jung,
• Abstract要約: 文芸機械翻訳を評価するための2段階パイプラインの実現可能性を提案し,評価する。 私たちのフレームワークは、文学翻訳に適した細粒度で解釈可能なメトリクスを提供します。
• 参考スコア（独自算出の注目度）: 15.50296318831118
• License:
• Abstract: In this work, we propose and evaluate the feasibility of a two-stage pipeline to evaluate literary machine translation, in a fine-grained manner, from English to Korean. The results show that our framework provides fine-grained, interpretable metrics suited for literary translation and obtains a higher correlation with human judgment than traditional machine translation metrics. Nonetheless, it still fails to match inter-human agreement, especially in metrics like Korean Honorifics. We also observe that LLMs tend to favor translations generated by other LLMs, and we highlight the necessity of developing more sophisticated evaluation methods to ensure accurate and culturally sensitive machine translation of literary works.
• Abstract（参考訳）: 本研究では,英語から韓国語への文芸機械翻訳を詳細に評価するための2段階パイプラインの実現可能性を提案し,評価する。 その結果,本フレームワークは文体翻訳に適した細粒度で解釈可能な指標を提供し,従来の機械翻訳指標よりも人間の判断と高い相関関係が得られることがわかった。 それでも、韓国の名誉のような指標では、人間同士の合意に一致しない。 また,文学作品の正確で文化に敏感な機械翻訳を確実にするために,より洗練された評価手法を開発することの必要性を強調した。

関連論文リスト

• DRT: Deep Reasoning Translation via Long Chain-of-Thought [89.48208612476068]
  本稿では,長いCoTをニューラルネットワーク翻訳(MT)に適用する試みであるDRTを紹介する。 まず、既存の文献から模範文や比喩文を含む文を抽出し、その後、長い思考を通してこれらの文を翻訳する多エージェントフレームワークを開発する。 Qwen2.5とLLama-3.1をバックボーンとして使用することで、DRTモデルは機械翻訳中に思考プロセスを学ぶことができる。
  論文  参考訳（メタデータ） (2024-12-23T11:55:33Z)
• LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
  大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。 LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。 提案したIBUTは、いくつかの強力な比較法より優れている。
  論文  参考訳（メタデータ） (2024-10-16T13:21:46Z)
• Large Language Models for Classical Chinese Poetry Translation: Benchmarking, Evaluating, and Improving [43.148203559785095]
  印象的な多言語機能を持つ大規模言語モデル(LLM)は、この極端な翻訳要求を達成するための希望の光となるかもしれない。 本稿ではまず,各漢詩にエレガントな翻訳が認められた適切なベンチマーク(PoetMT)を紹介する。 本稿では,GPT-4に基づく新しい測定基準を提案し,現在のLCMがこれらの要求を満たす範囲を評価する。
  論文  参考訳（メタデータ） (2024-08-19T12:34:31Z)
• Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
  最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。 我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。 本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
  論文  参考訳（メタデータ） (2024-05-29T09:25:49Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.54546652197316]
  大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。 我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
  論文  参考訳（メタデータ） (2023-04-06T17:27:45Z)
• Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature [35.1398797683712]
  文献翻訳者は, 機械翻訳段落よりも, 84%の割合で人文翻訳を好んでいる。 我々は、通常のMT出力よりも出力が好ましい後編集モデルを専門家によって69%の速度で訓練する。
  論文  参考訳（メタデータ） (2022-10-25T18:03:34Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。