論文の概要: Culture-Aware Machine Translation in Large Language Models: Benchmarking and Investigation
- arxiv url: http://arxiv.org/abs/2604.24361v1
- Date: Mon, 27 Apr 2026 11:53:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.965128
- Title: Culture-Aware Machine Translation in Large Language Models: Benchmarking and Investigation
- Title(参考訳): 大規模言語モデルにおける文化認識機械翻訳:ベンチマークと検討
- Authors: Zekun Yuan, Yangfan Ye, Xiaocheng Feng, Baohang Li, Qichen Hong, Yunfei Lu, Dandan Tu, Bing Qin,
- Abstract要約: 大規模言語モデル(LLM)は、一般的な機械翻訳において高い性能を達成しているが、文化に配慮したシナリオにおけるそれらの能力はいまだに理解されていない。
そこで我々は,CanMT,CanMTを紹介した。CanMTは,機械翻訳のための,文化的翻訳品質を評価するための理論的に基礎付けられた多次元評価フレームワークである。
- 参考スコア(独自算出の注目度): 36.27108860941823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved strong performance in general machine translation, yet their ability in culture-aware scenarios remains poorly understood. To bridge this gap, we introduce CanMT, a Culture-Aware Novel-Driven Parallel Dataset for Machine Translation, together with a theoretically grounded, multi-dimensional evaluation framework for assessing cultural translation quality. Leveraging CanMT, we systematically evaluate a wide range of LLMs and translation systems under different translation strategy constraints. Our findings reveal substantial performance disparities across models and demonstrate that translation strategies exert a systematic influence on model behavior. Further analysis shows that translation difficulty varies across types of culture-specific items, and that a persistent gap remains between models' recognition of culture-specific knowledge and their ability to correctly operationalize it in translation outputs. In addition, incorporating reference translations is shown to substantially improve evaluation reliability in LLM-as-a-judge, underscoring their essential role in assessing culture-aware translation quality. The corpus and code are available at CanMT.
- Abstract(参考訳): 大規模言語モデル(LLM)は、一般的な機械翻訳において高い性能を達成しているが、文化に配慮したシナリオにおけるそれらの能力はいまだに理解されていない。
このギャップを埋めるために、CanMTは、CanMT(Cultural-Aware Novel-Driven Parallel Dataset for Machine Translation)と、理論的に基礎付けられた多次元評価フレームワークを導入し、文化翻訳の質を評価する。
CanMTを活用することで、異なる翻訳戦略制約の下で、広範囲のLLMと翻訳システムを体系的に評価する。
本研究は,モデル間の性能格差を顕著に明らかにし,翻訳戦略がモデル行動に体系的な影響を及ぼすことを示した。
さらに分析したところ、翻訳難易度は、文化特化項目の種類によって異なり、モデルによる文化特化知識の認識と、翻訳出力でそれを正しく運用する能力の間には、永続的なギャップが残っていることが示されている。
さらに, LLM-as-a-judgeにおける基準翻訳の導入により, LLM-as-a-judgeの信頼性が著しく向上し, 文化認識翻訳の質を評価する上で重要な役割を担っていることが明らかとなった。
コーパスとコードはCanMTで入手できる。
関連論文リスト
- Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation [33.08089616645845]
大言語モデル(LLM)は機械翻訳(MT)のランドスケープを再構築した
我々は,数発のプロンプト,言語間移動,パラメータ効率の微調整などの手法を解析する。
幻覚、評価の不整合、遺伝バイアスなど、永続的な課題について議論する。
論文 参考訳(メタデータ) (2025-04-02T17:26:40Z) - LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。
LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。
提案したIBUTは、いくつかの強力な比較法より優れている。
論文 参考訳(メタデータ) (2024-10-16T13:21:46Z) - Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。
参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - Benchmarking Machine Translation with Cultural Awareness [50.183458829028226]
文化関連コンテンツの翻訳は、効果的な異文化間コミュニケーションに不可欠である。
多くの文化特化項目(CSI)は言語間の翻訳を欠いていることが多い。
この難しさは機械翻訳システムの文化的意識の分析を妨げる。
論文 参考訳(メタデータ) (2023-05-23T17:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。