論文の概要: The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
- arxiv url: http://arxiv.org/abs/2504.16286v2
- Date: Mon, 28 Apr 2025 11:53:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.943694
- Title: The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
- Title（参考訳）: 逆翻訳における詩文のパラドックス:中国語翻訳における大言語モデルの質の評価
- Authors: Li Weigang, Pedro Carvalho Brom,
- Abstract要約: 本研究は、中国科学用語、歴史的翻訳パラドックス、文学的比喩を含む多種多様なコーパスを構成する。
BLEU, CHRF, TER, 意味的類似度を6つの主要言語モデル(LLM)と3つの伝統的な翻訳ツールで評価した。
- 参考スコア（独自算出の注目度）: 2.685668802278156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of large language models (LLMs) has reshaped the landscape of machine translation, yet challenges persist in preserving poetic intent, cultural heritage, and handling specialized terminology in Chinese-English translation. This study constructs a diverse corpus encompassing Chinese scientific terminology, historical translation paradoxes, and literary metaphors. Utilizing a back-translation and Friedman test-based evaluation system (BT-Fried), we evaluate BLEU, CHRF, TER, and semantic similarity metrics across six major LLMs (e.g., GPT-4.5, DeepSeek V3) and three traditional translation tools. Key findings include: (1) Scientific abstracts often benefit from back-translation, while traditional tools outperform LLMs in linguistically distinct texts; (2) LLMs struggle with cultural and literary retention, exemplifying the "paradox of poetic intent"; (3) Some models exhibit "verbatim back-translation", reflecting emergent memory behavior; (4) A novel BLEU variant using Jieba segmentation and n-gram weighting is proposed. The study contributes to the empirical evaluation of Chinese NLP performance and advances understanding of cultural fidelity in AI-mediated translation.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は機械翻訳の風景を形作っているが、詩の意図、文化遺産の保存、中国語と英語の翻訳における専門用語の扱いには課題が続いている。
本研究は、中国科学用語、歴史的翻訳パラドックス、文学的比喩を含む多種多様なコーパスを構成する。
バックトランスレーションとFriedmanテストベース評価システム(BT-Fried)を用いて,BLEU,CHRF,TER,意味的類似度を6つのLLM(例:GPT-4.5,DeepSeek V3)および3つの従来の翻訳ツールで評価した。
主な発見は,(1) 科学的抽象語は翻訳の恩恵を受け,(2) 従来のツールは言語学的に異なる文章でLLMを上回り,(2) LLMは「詩的意図のパラドックス」を実証する文化的・文学的保持に苦しむ,(3) 創発的記憶の振る舞いを反映した「言語的バックトランスレーション」を示す,(4) ジエバ分節とn-グラム重み付けを用いた新しいBLEU変種が提案されている。
この研究は、中国のNLPパフォーマンスの実証評価に寄与し、AIによる翻訳における文化的忠実さの理解を深めている。
関連論文リスト
- How does a Multilingual LM Handle Multiple Languages? [0.0]
本研究では,多言語理解,意味表現,言語間知識伝達の能力について批判的に検討する。
コサイン類似性を用いた一貫性のための多言語単語埋め込みの分析により意味的類似性を評価する。
BLOOM-1.7B と Qwen2 を Named Entity Recognition と文類似性タスクを通して調べ、それらの言語構造を理解する。
論文 参考訳（メタデータ） (2025-02-06T18:08:14Z) - A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls [15.50296318831118]
文芸機械翻訳を評価するための2段階パイプラインの実現可能性を提案し,評価する。
私たちのフレームワークは、文学翻訳に適した細粒度で解釈可能なメトリクスを提供します。
論文 参考訳（メタデータ） (2024-12-02T10:07:01Z) - Transcending Language Boundaries: Harnessing LLMs for Low-Resource Language Translation [38.81102126876936]
本稿では,キーワードに着目して,低リソース言語における翻訳品質を向上させる新しい検索手法を提案する。
本手法の有効性を評価するため,北米の絶滅危惧種であるチェロキー語,アジアにおける歴史的・文化的に重要な言語であるチベット語,話者がほとんどいない満州語という3つの低資源言語に英語から翻訳した実験を行った。
GPT-4oとLLaMA 3.1 405Bのゼロショット性能と比較すると、低リソース言語への変換において、これらのモデルが直面する重要な課題が浮き彫りになっている。
論文 参考訳（メタデータ） (2024-11-18T05:41:27Z) - LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。
LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。
提案したIBUTは、いくつかの強力な比較法より優れている。
論文 参考訳（メタデータ） (2024-10-16T13:21:46Z) - Cultural Adaptation of Menus: A Fine-Grained Approach [58.08115795037042]
CSI(Machine Translation of Culture-Specific Items)は、重要な課題である。
CSI翻訳に関する最近の研究は、様々な言語や文化に適応するためにLarge Language Models (LLM)を用いていくつかの成功を収めている。
CSIラベルと非CSIラベルをアノテートした中国語メニューコーパスで最大となる ChineseMenuCSI データセットを提案する。
我々は,ほとんどのカテゴリにおいて,GPTに基づくプロンプトよりも優れた自動CSI識別手法を開発した。
論文 参考訳（メタデータ） (2024-08-24T09:25:18Z) - Large Language Models for Classical Chinese Poetry Translation: Benchmarking, Evaluating, and Improving [43.148203559785095]
印象的な多言語機能を持つ大規模言語モデル(LLM)は、この極端な翻訳要求を達成するための希望の光となるかもしれない。
本稿ではまず,各漢詩にエレガントな翻訳が認められた適切なベンチマーク(PoetMT)を紹介する。
本稿では,GPT-4に基づく新しい測定基準を提案し,現在のLCMがこれらの要求を満たす範囲を評価する。
論文 参考訳（メタデータ） (2024-08-19T12:34:31Z) - (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。
本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
論文 参考訳（メタデータ） (2024-05-20T05:55:08Z) - Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。
近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。
本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
論文 参考訳（メタデータ） (2024-01-12T09:29:13Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳（メタデータ） (2023-09-20T22:22:52Z) - Benchmarking Machine Translation with Cultural Awareness [50.183458829028226]
文化関連コンテンツの翻訳は、効果的な異文化間コミュニケーションに不可欠である。
多くの文化特化項目(CSI)は言語間の翻訳を欠いていることが多い。
この難しさは機械翻訳システムの文化的意識の分析を妨げる。
論文 参考訳（メタデータ） (2023-05-23T17:56:33Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳（メタデータ） (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。