論文の概要: Evaluating o1-Like LLMs: Unlocking Reasoning for Translation through Comprehensive Analysis

• arxiv url: http://arxiv.org/abs/2502.11544v1
• Date: Mon, 17 Feb 2025 08:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:28.674634
• Title: Evaluating o1-Like LLMs: Unlocking Reasoning for Translation through Comprehensive Analysis
• Title（参考訳）: o1-like LLMの評価:包括的解析による翻訳のためのアンロック推論
• Authors: Andong Chen, Yuchen Song, Wenxin Zhu, Kehai Chen, Muyun Yang, Tiejun Zhao, Min zhang,
• Abstract要約: o1に似たLLMは、人間の認知過程をシミュレートしてAIを変換している。 複数のo1-like LLMを評価し,ChatGPTやGPT-4oといった従来のモデルと比較した。 その結果、o1-like LLMは、文脈のないタスクでGPT-4oを超えるDeepSeek-R1という、新しい多言語翻訳ベンチマークを構築していることがわかった。
• 参考スコア（独自算出の注目度）: 38.74428799923612
• License:
• Abstract: The o1-Like LLMs are transforming AI by simulating human cognitive processes, but their performance in multilingual machine translation (MMT) remains underexplored. This study examines: (1) how o1-Like LLMs perform in MMT tasks and (2) what factors influence their translation quality. We evaluate multiple o1-Like LLMs and compare them with traditional models like ChatGPT and GPT-4o. Results show that o1-Like LLMs establish new multilingual translation benchmarks, with DeepSeek-R1 surpassing GPT-4o in contextless tasks. They demonstrate strengths in historical and cultural translation but exhibit a tendency for rambling issues in Chinese-centric outputs. Further analysis reveals three key insights: (1) High inference costs and slower processing speeds make complex translation tasks more resource-intensive. (2) Translation quality improves with model size, enhancing commonsense reasoning and cultural translation. (3) The temperature parameter significantly impacts output quality-lower temperatures yield more stable and accurate translations, while higher temperatures reduce coherence and precision.
• Abstract（参考訳）: o1-like LLMは、人間の認知過程をシミュレートしてAIを変換しているが、多言語機械翻訳(MMT)におけるその性能はまだ未熟である。 本研究は,(1) MMTタスクにおけるo1-like LLMの働きと,(2)翻訳品質に影響を与える要因について検討する。 複数のo1-like LLMを評価し,ChatGPTやGPT-4oといった従来のモデルと比較した。 その結果、o1-like LLMは、文脈のないタスクでGPT-4oを超えるDeepSeek-R1という、新しい多言語翻訳ベンチマークを構築していることがわかった。 歴史的・文化的な翻訳では強みを示すが、中国中心のアウトプットでは混乱する傾向にある。 1) 高推論コストと処理速度の遅さにより、複雑な翻訳タスクがリソース集約化される。 2)翻訳の質はモデルサイズにより向上し,コモンセンス推論と文化翻訳が向上する。 3) 温度パラメータは出力品質-低温度に大きく影響し, 高い温度ではコヒーレンスや精度が低下する一方, より安定かつ正確な翻訳が得られる。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.175795328685986]
  機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。 モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。 フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
  論文  参考訳（メタデータ） (2024-05-30T14:25:56Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。