論文の概要: Aligning Neural Machine Translation Models: Human Feedback in Training and Inference

• arxiv url: http://arxiv.org/abs/2311.09132v2
• Date: Thu, 4 Jul 2024 10:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 00:42:23.832650
• Title: Aligning Neural Machine Translation Models: Human Feedback in Training and Inference
• Title（参考訳）: ニューラルネットワーク翻訳モデルの調整:トレーニングと推論における人間のフィードバック
• Authors: Miguel Moura Ramos, Patrick Fernandes, António Farinhas, André F. T. Martins,
• Abstract要約: RLHF(Reinforcement Learning from Human feedback)は、言語モデルによって生成されたテキストの品質を向上させる技術である。 人間のアノテーションからトレーニングされたメトリクスを報酬モデルとして容易に利用できる機械翻訳(MT)では、最小ベイズリスクデコーディングと再ランクを用いた手法が最終品質の向上に成功している。
• 参考スコア（独自算出の注目度）: 27.84975767573212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from human feedback (RLHF) is a recent technique to improve the quality of the text generated by a language model, making it closer to what humans would generate. A core ingredient in RLHF's success in aligning and improving large language models (LLMs) is its reward model, trained using human feedback on model outputs. In machine translation (MT), where metrics trained from human annotations can readily be used as reward models, recent methods using minimum Bayes risk decoding and reranking have succeeded in improving the final quality of translation. In this study, we comprehensively explore and compare techniques for integrating quality metrics as reward models into the MT pipeline. This includes using the reward model for data filtering, during the training phase through RL, and at inference time by employing reranking techniques, and we assess the effects of combining these in a unified approach. Our experimental results, conducted across multiple translation tasks, underscore the crucial role of effective data filtering, based on estimated quality, in harnessing the full potential of RL in enhancing MT quality. Furthermore, our findings demonstrate the effectiveness of combining RL training with reranking techniques, showcasing substantial improvements in translation quality.
• Abstract（参考訳）: 人間からのフィードバックからの強化学習(RLHF)は、言語モデルによって生成されたテキストの品質を改善するための最近の技術であり、人間が生成するものに近いものになっている。 RLHFが大規模言語モデル(LLM)の整合と改善に成功した中核となる要素は、モデル出力に対する人間のフィードバックを用いてトレーニングされた報酬モデルである。 人間のアノテーションからトレーニングされたメトリクスを報酬モデルとして容易に利用できる機械翻訳(MT)では、最小ベイズリスクデコーディングと再ランクを用いた最近の手法が最終品質の向上に成功している。 本研究では,報奨モデルとして品質指標を統合する手法をMTパイプラインに包括的に検討し,比較する。 これには、データフィルタリング、RLによるトレーニング段階での報酬モデル、再ランク付け手法による推論時間の利用が含まれており、それらを統一的なアプローチで組み合わせることの効果を評価する。 複数の翻訳タスクにまたがって実施した実験結果は,MT品質向上におけるRLの潜在能力を最大限に活用する上で,推定品質に基づく効果的なデータフィルタリングの重要性を浮き彫りにした。 さらに,RLトレーニングとリグレード技術を組み合わせることで,翻訳品質が大幅に向上したことを示す。

関連論文リスト

• Fine-Grained Reward Optimization for Machine Translation using Error Severity Mappings [25.851419860597407]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク翻訳システムのトレーニングにおいて、効果的で堅牢な方法であることが証明されている。 本稿では,RL法により微細なトークンレベルの報酬機構を活用する新しい手法を提案する。 文レベルと微粒な報酬信号が翻訳品質に与える影響を比較するために, 小型・大規模翻訳データセットの実験を行った。
  論文  参考訳（メタデータ） (2024-11-08T21:55:37Z)
• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• Advancing Translation Preference Modeling with RLHF: A Step Towards Cost-Effective Solution [57.42593422091653]
  人間のフィードバックによる強化学習の活用による翻訳品質の向上について検討する。 強力な言語能力を持つ報酬モデルは、翻訳品質の微妙な違いをより敏感に学習することができる。
  論文  参考訳（メタデータ） (2024-02-18T09:51:49Z)
• Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble [67.4269821365504]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大きな言語モデルと人間の価値を整合させる手法として広く採用されている。 しかし、RLHFは限られた量の人間の嗜好データで訓練された報酬モデルに依存している。 報奨モデルによりより正確な予測が可能となる報奨アンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:17:37Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• Reinforced Self-Training (ReST) for Language Modeling [56.75447441157628]
  人間からのフィードバック(RLHF)からの強化学習は、人間の好みに合わせることで、大きな言語モデル(LLM)の出力の品質を向上させることができる。 強化自己学習(Reinforced Self-Training, ReST)と呼ばれる, バッチ強化学習(RL)の成長にインスパイアされたLLMを人間の好みに合わせるための簡単なアルゴリズムを提案する。 この結果から,ReSTは自動測定値と機械翻訳ベンチマークの人的評価によって,計算とサンプル効率で翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-08-17T14:12:48Z)
• Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback [8.409764908043396]
  人からのフィードバックからの好みのモデリングと強化学習を微調整言語モデルに適用し、補助的アシスタントとして機能させる。 このアライメントトレーニングにより,ほぼすべてのNLP評価の性能が向上することがわかった。 オンライントレーニングの反復的なモードについて検討し、人間のフィードバックデータを用いて毎週のケイデンスで好みモデルとRLポリシーを更新する。
  論文  参考訳（メタデータ） (2022-04-12T15:02:38Z)
• Non-Parametric Online Learning from Human Feedback for Neural Machine Translation [54.96594148572804]
  本稿では,人間のフィードバックによるオンライン学習の課題について検討する。 従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。 モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T04:26:15Z)
• Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models [20.976165305749777]
  我々は,既存のトレーニングセットから影響力のあるデータサンプルを再選択することで,事前学習したNMTモデルを改善するカリキュラムを学習する。 本稿では,決定論的アクタ批判に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-13T03:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。