論文の概要: The Price of Reasoning: Cost-Quality Tradeoffs in Reinforcement Learning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2607.19226v1
• Date: Tue, 21 Jul 2026 15:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.482352
• Title: The Price of Reasoning: Cost-Quality Tradeoffs in Reinforcement Learning for Neural Machine Translation
• Title（参考訳）: 推論の価格:ニューラルネットワーク翻訳における強化学習におけるコスト-品質トレードオフ
• Abstract要約: 本研究では,学習と推論の双方において,モデルが生成した応答に推論トレースを含めることの重要性について検討する。 実験の結果,推論中の推論を含むと,全体の翻訳品質に肯定的な影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 0.1915265522996079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has been established as a viable paradigm for the post-training of Large Language Models (LLMs), including downstream tasks, such as Neural Machine Translation (NMT). With the latest research indicating that RLVR could be the preferred training method for translating legal documents due to the induced reasoning capabilities, it raises the question whether it is really attributed to the reasoning or more generally to the training paradigm. We investigate the importance of including the model's reasoning trace in the generated responses during both training and inference by systematically omitting it from one of the phases. Our experiments show that including the reasoning, specifically during inference, has a positive effect on the overall translation quality. Furthermore, we recognise that the reasoning leads to an increase in output tokens, hence we study the cost-quality tradeoff between the increased computational demands and the improved translation quality.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、ニューラルネットワーク翻訳(NMT)などの下流タスクを含む、大規模言語モデル(LLM)の訓練後のパラダイムとして確立されている。 最新の研究では、RLVRが、推論能力による法的文書の翻訳に好適な訓練方法である可能性が示唆されていることから、それが本当に推論に起因しているのか、あるいはより一般的には訓練パラダイムに起因しているのかという疑問が提起されている。 本研究では,学習と推論の双方において生成した応答にモデル推論の痕跡を含めることの重要性を,段階の1つから体系的に排除することで検討する。 実験の結果,推論中の推論を含むと,全体の翻訳品質に肯定的な影響を及ぼすことがわかった。 さらに、この推論が出力トークンの増加につながることを認識し、計算要求の増加と翻訳品質の改善との間のコスト品質のトレードオフについて検討する。

関連論文リスト

• ReflectMT: Internalizing Reflection for Efficient and High-Quality Machine Translation [63.89730738735446]
  機械翻訳のための2段階反射内在化アルゴリズムであるReflectMTを提案する。 提案手法は,強化学習を通じて,モデルの「翻訳-反射-精製」機能を開発する。 WMT24のようなデータセットに対する実験結果から、推論時のモデルのファーストパス変換がマルチステップ推論のLRMよりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T06:48:41Z)
• Unlocking Reasoning Capability on Machine Translation in Large Language Models [57.60641851466707]
  推論指向の大規模言語モデル(RLM)は、明示的な中間推論を生成することにより、数学やコーディングといったタスクに強い利益をもたらす。 WMT24++ベンチマークを用いて,オープンおよびクローズドヘビー級のRCMを系統的に評価した。 明示的な推論を可能にすることは、言語やモデル間の翻訳品質を一貫して低下させる。
  論文  参考訳（メタデータ） (2026-02-16T14:05:59Z)
• Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration [33.02780998281276]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。 本研究は,RLVRにおけるデータ効率の向上に本質的なデータ特性の活用,すなわちトレーニング中のほぼ自由な利益をいかに生かすかを検討する。
  論文  参考訳（メタデータ） (2025-11-02T04:16:47Z)
• Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective [52.452449102961225]
  本研究は、推論一般化を探求する新たな言語横断的視点を提案する。 本研究により,言語間の伝達性は,初期モデル,対象言語,訓練パラダイムによって大きく異なることが明らかとなった。 我々の研究は、LRM推論が人間の認知を反映し、言語に依存しないLRMの開発に重要な洞察を与えるという仮定に挑戦する。
  論文  参考訳（メタデータ） (2025-10-02T17:49:49Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• RIVAL: Reinforcement Learning with Iterative and Adversarial Optimization for Machine Translation [33.79108789619648]
  大規模言語モデル(LLM)は、強い多言語機能を有し、ヒューマンフィードバックからの強化学習と翻訳タスクを組み合わせることは大きな可能性を示している。 このパラダイムは、単語の字幕翻訳タスクに適用した場合、予期せぬ性能が低下するのを観察する。 本稿では,RM と LLM の間の min-max ゲームとしてプロセスを定式化する,対角的学習フレームワーク RIVAL を提案する。
  論文  参考訳（メタデータ） (2025-06-05T14:18:21Z)
• Fine-Grained Reward Optimization for Machine Translation using Error Severity Mappings [25.851419860597407]
  本稿では,細粒度でトークンレベルの品質評価と,Reinforcement Learningを用いた誤り重大度レベルを利用した新しい手法を提案する。 我々は,標準エンコーダデコーダと大規模言語モデルに基づく機械翻訳システムを用いて,小型・大規模翻訳データセットの実験を行った。 その結果,トークンレベルの報酬を用いた学習は,自動評価と人的評価の両方に応じて,ベースラインを越えた言語ペア間の翻訳品質を向上させることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T21:55:37Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。