論文の概要: Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2506.17080v1
• Date: Fri, 20 Jun 2025 15:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.513094
• Title: Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs
• Title（参考訳）: Tower+:多言語LLMにおけるブリッジジェネリティと翻訳特化
• Authors: Ricardo Rei, Nuno M. Guerreiro, José Pombal, João Alves, Pedro Teixeirinha, Amin Farajian, André F. T. Martins,
• Abstract要約: Tower+は,翻訳機能と多言語汎用テキスト機能の両方にわたって,強力なパフォーマンスを実現するように設計されたモデルスイートである。 学習の各段階で、汎用タスクだけでなく、翻訳の性能を高めるためにデータを生成し、キュレートする。 この結果から,特定のビジネスドメインを最適化しながら,フロンティアモデルに対抗できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 20.94201888693295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pretrained LLMs has been shown to be an effective strategy for reaching state-of-the-art performance on specific tasks like machine translation. However, this process of adaptation often implies sacrificing general-purpose capabilities, such as conversational reasoning and instruction-following, hampering the utility of the system in real-world applications that require a mixture of skills. In this paper, we introduce Tower+, a suite of models designed to deliver strong performance across both translation and multilingual general-purpose text capabilities. We achieve a Pareto frontier between translation specialization and multilingual general-purpose capabilities by introducing a novel training recipe that builds on Tower (Alves et al., 2024), comprising continued pretraining, supervised fine-tuning, preference optimization, and reinforcement learning with verifiable rewards. At each stage of training, we carefully generate and curate data to strengthen performance on translation as well as general-purpose tasks involving code generation, mathematics problem solving, and general instruction-following. We develop models at multiple scales: 2B, 9B, and 72B. Our smaller models often outperform larger general-purpose open-weight and proprietary LLMs (e.g., Llama 3.3 70B, GPT-4o). Our largest model delivers best-in-class translation performance for high-resource languages and top results in multilingual Arena Hard evaluations and in IF-MT, a benchmark we introduce for evaluating both translation and instruction-following. Our findings highlight that it is possible to rival frontier models in general capabilities, while optimizing for specific business domains, such as translation and localization.
• Abstract（参考訳）: 微調整事前学習 LLM は機械翻訳のような特定のタスクにおいて最先端の性能を達成するための効果的な戦略であることが示されている。 しかし、この適応のプロセスは、会話推論や命令追従のような汎用能力を犠牲にし、様々なスキルを必要とする現実世界のアプリケーションにおけるシステムの実用性を阻害する。 本稿では,翻訳機能と多言語汎用テキスト機能の両方において,強力な性能を実現するために設計されたモデルスイートである Tower+ を紹介する。 翻訳専門化と多言語汎用機能の間にあるパレートフロンティアを達成すべく,タワー(Allves et al, 2024)上に構築された新しいトレーニングレシピを導入し, 事前訓練, 教師付き微調整, 選好最適化, 検証可能な報酬による強化学習を行った。 学習の各段階で、私たちは、コード生成、数学の問題解決、一般的な命令追従を含む汎用的なタスクと同様に、翻訳の性能を高めるために、データを注意深く生成し、キュレートします。 我々は,2B,9B,72Bの複数のスケールでモデルを開発する。 私たちの小さなモデルは、より大きな汎用的オープンウェイトおよびプロプライエタリなLCM(例えば、Llama 3.3 70B, GPT-4o)よりも優れています。 我々の最大のモデルは、多言語アリーナハード評価における高リソース言語と上位結果のためのクラス間翻訳性能を提供し、IF-MTでは、翻訳と命令追従の両方を評価するためのベンチマークを紹介します。 この結果から,翻訳やローカライゼーションといった特定のビジネス領域を最適化しながら,フロンティアモデルに対抗できる可能性が示唆された。

関連論文リスト

• Improving Retrieval-Augmented Neural Machine Translation with Monolingual Data [9.67203800171351]
  多くの設定では、ドメイン内のモノリンガルなターゲットサイドコーパスがしばしば利用可能である。 この研究は、対象言語に直接関連するセグメントを取得することによって、そのようなリソースを活用する方法を探究する。 2つのRANMTアーキテクチャを用いた実験では、まず、制御された環境で言語横断的な目的の利点を実演する。 次に,本手法を,対象のモノリンガルリソースが並列データの量よりはるかに多い実世界のセットアップに示す。
  論文  参考訳（メタデータ） (2025-04-30T15:41:03Z)
• X-ALMA: Plug & Play Modules and Adaptive Rejection for Quality Translation at Scale [25.257770733168012]
  大規模言語モデル(LLM)は、英語中心の事前学習と限定的な多言語データにより、様々なNLPタスクにおいて顕著な成功を収めている。 X-ALMA**は、50の多様な言語で最高のパフォーマンスを保証するために設計されたモデルです。
  論文  参考訳（メタデータ） (2024-10-04T03:17:27Z)
• How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes [2.0109318570325847]
  ソフトウェア分野の特定の組織からTMを用いたLlama 3モデルの微調整の影響について検討する。 トレーニングセット毎にモデルを微調整し,自動メトリクス,BLEU,chrF++,TER,COMETに基づいて評価する。 以上の結果から,全指標にまたがるより大きなデータセットによる翻訳性能の向上が示された。
  論文  参考訳（メタデータ） (2024-09-05T12:06:38Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• A Recipe of Parallel Corpora Exploitation for Multilingual Large Language Models [64.79218405438871]
  最近の研究は、多言語大言語モデルを強化するために並列コーパスを利用する可能性を強調している。 並列コーパスで強化された多言語大言語モデルの性能に及ぼす並列コーパスの品質と量,訓練目標,モデルサイズの影響について検討した。
  論文  参考訳（メタデータ） (2024-06-29T13:12:39Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Tower: An Open Multilingual Large Language Model for Translation-Related Tasks [27.237316809769975]
  本稿では,翻訳に含まれる複数のタスクに対して,大規模言語モデル(LLM)を調整するためのレシピを提案する。 我々の最終モデルは、翻訳に関連するいくつかのタスクにおいて、オープンな代替案を超越し、汎用的な閉LLMと競合する。
  論文  参考訳（メタデータ） (2024-02-27T18:09:36Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。