論文の概要: How Well Do Large Reasoning Models Translate? A Comprehensive Evaluation for Multi-Domain Machine Translation

• arxiv url: http://arxiv.org/abs/2505.19987v1
• Date: Mon, 26 May 2025 13:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.475768
• Title: How Well Do Large Reasoning Models Translate? A Comprehensive Evaluation for Multi-Domain Machine Translation
• Title（参考訳）: 大規模推論モデルはどのように翻訳されるか? マルチドメイン機械翻訳における包括的評価
• Authors: Yongshi Ye, Biao Fu, Chongxuan Huang, Yidong Chen, Xiaodong Shi,
• Abstract要約: 大規模言語モデル (LLM) は汎用機械翻訳において高い性能を示している。 LRMの最近の進歩は、構造化推論が様々な領域にわたる翻訳品質を高めることができるかどうかという疑問を提起している。
• 参考スコア（独自算出の注目度）: 11.5400003750047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated strong performance in general-purpose machine translation, but their effectiveness in complex, domain-sensitive translation tasks remains underexplored. Recent advancements in Large Reasoning Models (LRMs), raise the question of whether structured reasoning can enhance translation quality across diverse domains. In this work, we compare the performance of LRMs with traditional LLMs across 15 representative domains and four translation directions. Our evaluation considers various factors, including task difficulty, input length, and terminology density. We use a combination of automatic metrics and an enhanced MQM-based evaluation hierarchy to assess translation quality. Our findings show that LRMs consistently outperform traditional LLMs in semantically complex domains, especially in long-text and high-difficulty translation scenarios. Moreover, domain-adaptive prompting strategies further improve performance by better leveraging the reasoning capabilities of LRMs. These results highlight the potential of structured reasoning in MDMT tasks and provide valuable insights for optimizing translation systems in domain-sensitive contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は汎用機械翻訳において高い性能を示してきたが、複雑なドメイン依存翻訳タスクにおけるそれらの有効性はいまだ探索されていない。 近年のLRM(Large Reasoning Models)の進歩は、構造化推論が多分野にわたる翻訳品質を高めることができるかどうかという疑問を提起している。 本研究では,LRMの性能を15の代表的なドメインと4つの翻訳方向にわたる従来のLLMと比較する。 本評価では,タスクの難易度,入力長,用語密度など,様々な要因について検討する。 自動メトリクスと拡張MQMベースの評価階層を組み合わせて翻訳品質を評価する。 以上の結果から,LRMは意味論的に複雑なドメインにおいて,特に長文・高精度の翻訳シナリオにおいて,従来のLLMよりも一貫して優れていたことが示唆された。 さらに、ドメイン適応的なプロンプト戦略は、LRMの推論能力をより活用することで、パフォーマンスをさらに向上する。 これらの結果はMDMTタスクにおける構造化推論の可能性を強調し、ドメイン依存コンテキストにおける翻訳システムの最適化に有用な洞察を提供する。

関連論文リスト

• Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation [33.08089616645845]
  大規模言語モデル(LLM)の出現は機械翻訳(MT)の景観を大きく変えた。 我々は、アンダーリソース設定への効果的な適応を可能にする、少数ショットプロンプト、クロスランガル転送、パラメータ効率の微調整などの手法を解析する。 幻覚, 評価の不整合, 遺伝バイアスなどの持続的課題について検討するとともに, 翻訳品質向上のためのLCM駆動メトリクスの評価を行った。
  論文  参考訳（メタデータ） (2025-04-02T17:26:40Z)
• New Trends for Modern Machine Translation with Large Reasoning Models [37.81295890762503]
  大規模推論モデル(LRM)の最近の進歩は,機械翻訳(MT)の新たな可能性を開いた。 このポジションペーパーは、LRMが従来のニューラルMTとLLMベースのMTパラダイムを実質的に変換したと主張している。 我々は、LRMの翻訳システムはテキストコンバータだけでなく、テキストを超えて意味を推論できる多言語認知エージェントであると考えている。
  論文  参考訳（メタデータ） (2025-03-13T13:27:53Z)
• Refining Translations with LLMs: A Constraint-Aware Iterative Prompting Approach [7.5069214839655345]
  大言語モデル(LLM)は機械翻訳(MT)において顕著な熟練性を示している 本稿では,意味的正確性に不可欠なキーワードを優先することで,翻訳忠実度を高める多段階のプロンプトチェーンを提案する。 FLORES-200およびWMTデータセットのベースモデルとしてLlamaとQwenを使用した実験は、ベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T05:40:24Z)
• LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
  大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。 LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。 提案したIBUTは、いくつかの強力な比較法より優れている。
  論文  参考訳（メタデータ） (2024-10-16T13:21:46Z)
• Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
  大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。 我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。 本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T16:15:04Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
  大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:41:57Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。