論文の概要: Benchmarking LLMs for Translating Classical Chinese Poetry:Evaluating Adequacy, Fluency, and Elegance

• arxiv url: http://arxiv.org/abs/2408.09945v1
• Date: Mon, 19 Aug 2024 12:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-20 16:24:38.627533
• Title: Benchmarking LLMs for Translating Classical Chinese Poetry:Evaluating Adequacy, Fluency, and Elegance
• Title（参考訳）: 古典漢詩翻訳のためのLLMのベンチマーク:妥当性・頻度・エレガンスの評価
• Authors: Andong Chen, Lianzhang Lou, Kehai Chen, Xuefeng Bai, Yang Xiang, Muyun Yang, Tiejun Zhao, Min Zhang,
• Abstract要約: 古典漢詩を英語に翻訳するためのベンチマークを導入する。 この課題は、文化的、歴史的に重要な内容の翻訳に適当であるだけでなく、言語的な優雅さや詩的な優雅さへの厳格な固執も必要である。 本稿では,古典詩に関する知識を取り入れた翻訳プロセスを強化する機械用textbfAugmented machine textbfTranslation法であるRATを提案する。
• 参考スコア（独自算出の注目度）: 43.148203559785095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown remarkable performance in general translation tasks. However, the increasing demand for high-quality translations that are not only adequate but also fluent and elegant. To assess the extent to which current LLMs can meet these demands, we introduce a suitable benchmark for translating classical Chinese poetry into English. This task requires not only adequacy in translating culturally and historically significant content but also a strict adherence to linguistic fluency and poetic elegance. Our study reveals that existing LLMs fall short of this task. To address these issues, we propose RAT, a \textbf{R}etrieval-\textbf{A}ugmented machine \textbf{T}ranslation method that enhances the translation process by incorporating knowledge related to classical poetry. Additionally, we propose an automatic evaluation metric based on GPT-4, which better assesses translation quality in terms of adequacy, fluency, and elegance, overcoming the limitations of traditional metrics. Our dataset and code will be made available.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、一般的な翻訳タスクにおいて顕著な性能を示している。 しかし、良質な翻訳の需要が増大し、適当であるばかりでなく、流麗でエレガントなものも求められている。 そこで本研究では,従来の漢詩を英語に翻訳するための適切なベンチマークを提案する。 この課題は、文化的、歴史的に重要な内容の翻訳に適当であるだけでなく、言語的な優雅さや詩的な優雅さへの厳格な固執も必要である。 我々の研究は、既存のLLMがこのタスクに欠落していることを明らかにした。 これらの問題に対処するために、古典詩に関する知識を取り入れた翻訳プロセスを強化するために、 RAT を提案する。 さらに, GPT-4に基づく自動評価尺度を提案し, 従来の指標の限界を克服し, 翻訳品質を精度よく評価する。 データセットとコードは利用可能になります。

関連論文リスト

• The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation [2.685668802278156]
  本研究は、中国科学用語、歴史的翻訳パラドックス、文学的比喩を含む多種多様なコーパスを構成する。 BLEU, CHRF, TER, 意味的類似度を6つの主要言語モデル(LLM)と3つの伝統的な翻訳ツールで評価した。
  論文  参考訳（メタデータ） (2025-04-22T21:48:05Z)
• Lost in Literalism: How Supervised Training Shapes Translationese in LLMs [51.04435855143767]
  大規模言語モデル(LLM)は機械翻訳において顕著な成功を収めた。 しかし、過度にリテラルと不自然な翻訳を特徴とする翻訳は、依然として永続的な課題である。 我々は、黄金の基準を磨き、不自然なトレーニングインスタンスをフィルタリングするなど、これらのバイアスを軽減する方法を導入する。
  論文  参考訳（メタデータ） (2025-03-06T12:14:45Z)
• A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls [15.50296318831118]
  文芸機械翻訳を評価するための2段階パイプラインの実現可能性を提案し,評価する。 私たちのフレームワークは、文学翻訳に適した細粒度で解釈可能なメトリクスを提供します。
  論文  参考訳（メタデータ） (2024-12-02T10:07:01Z)
• Language Models and Cycle Consistency for Self-Reflective Machine Translation [1.79487674052027]
  我々は、ソース言語Aからターゲット言語Bへの複数の翻訳候補を生成し、その後、これらの候補を元の言語Aに翻訳する。 トークンレベルの精度や精度などの指標を用いて、原文と裏文の周期一貫性を評価することにより、言語Bの翻訳品質を暗黙的に推定する。 各原文に対して、翻訳候補を、原文と最適なサイクル整合性で同定し、最終回答とする。
  論文  参考訳（メタデータ） (2024-11-05T04:01:41Z)
• LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
  大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。 LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。 提案したIBUTは、いくつかの強力な比較法より優れている。
  論文  参考訳（メタデータ） (2024-10-16T13:21:46Z)
• What is the Best Way for ChatGPT to Translate Poetry? [38.47691441569612]
  英漢詩翻訳におけるChatGPTの能力について検討し、目的のプロンプトと小規模なサンプルシナリオを用いて最適なパフォーマンスを確かめる。 本稿では,単言語詩の説明を翻訳プロセスの案内情報として活用する,説明支援歌唱機械翻訳(EAPMT)手法を提案する。 EAPMT法は従来のChatGPTや既存のオンラインシステムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-05T16:48:26Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Is Context Helpful for Chat Translation Evaluation? [23.440392979857247]
  我々は、機械翻訳チャットの品質を評価するために、既存の文レベル自動メトリクスのメタ評価を行う。 参照なしのメトリクスは、特に英語外設定で翻訳品質を評価する場合、参照ベースのメトリクスよりも遅れていることが分かりました。 大規模言語モデルを用いたバイリンガル文脈を用いた新しい評価指標 Context-MQM を提案する。
  論文  参考訳（メタデータ） (2024-03-13T07:49:50Z)
• Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain? [0.0]
  本研究では,法域内の4つの言語対にまたがる伝統型ニューラルネットワーク翻訳(NMT)システムに対して,2つの最先端の大規模言語モデル(LLM)の機械翻訳(MT)の品質を評価する。 AEM(Automatic Evaluation met-rics)とHE(Human Evaluation)を専門のトランスラレータで組み合わせて、翻訳ランク、流用度、妥当性を評価する。
  論文  参考訳（メタデータ） (2024-02-12T14:40:54Z)
• Evaluating Optimal Reference Translations [4.956416618428049]
  本稿では,より信頼性の高い文書レベルの人文参照翻訳手法を提案する。 得られた文書レベルの最適参照翻訳を「標準」翻訳と比較して評価した。
  論文  参考訳（メタデータ） (2023-11-28T13:50:50Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.54546652197316]
  大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。 我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
  論文  参考訳（メタデータ） (2023-04-06T17:27:45Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Does Transliteration Help Multilingual Language Modeling? [0.0]
  多言語言語モデルに対する音訳の効果を実証的に測定する。 私たちは、世界で最もスクリプトの多様性が高いIndic言語にフォーカスしています。 比較的高いソースコード言語に悪影響を及ぼすことなく、低リソース言語にトランスリテラゼーションが有効であることに気付きました。
  論文  参考訳（メタデータ） (2022-01-29T05:48:42Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。