論文の概要: Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization

• arxiv url: http://arxiv.org/abs/2409.17673v1
• Date: Thu, 26 Sep 2024 09:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 20:56:11.250957
• Title: Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
• Title（参考訳）: 直接品質最適化を用いたニューラルマシン翻訳のための言語間ヒューマンパラメータアライメント
• Authors: Kaden Uhlig, Joern Wuebker, Raphael Reinauer, John DeNero,
• Abstract要約: ニューラルネットワーク翻訳(NMT)へのタスクアライメントの適用は,NMTにおける既存のタスクデータミスマッチに対処することを示す。 人選好のプロキシとして,事前学習された翻訳品質推定モデルを活用するDPOの変種であるダイレクト品質最適化(DQO)を導入する。
• 参考スコア（独自算出の注目度）: 4.993565079216378
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) and derivative techniques like Direct Preference Optimization (DPO) are task-alignment algorithms used to repurpose general, foundational models for specific tasks. We show that applying task-alignment to neural machine translation (NMT) addresses an existing task--data mismatch in NMT, leading to improvements across all languages of a multilingual model, even when task-alignment is only applied to a subset of those languages. We do so by introducing Direct Quality Optimization (DQO), a variant of DPO leveraging a pre-trained translation quality estimation model as a proxy for human preferences, and verify the improvements with both automatic metrics and human evaluation.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) や Direct Preference Optimization (DPO) のような派生手法は、特定のタスクに対する一般的な基礎的なモデルを再利用するために使用されるタスクアライメントアルゴリズムである。 ニューラルネットワーク翻訳(NMT)へのタスクアライメントの適用は,NMTにおける既存のタスクデータミスマッチに対処し,タスクアライメントがそれらのサブセットにのみ適用される場合でも,多言語モデルのすべての言語で改善されることを示す。 そこで我々は,人間の嗜好のプロキシとして事前学習された翻訳品質推定モデルを活用するDPOの変形であるダイレクト品質最適化(DQO)を導入し,自動測定と人的評価の両方による改善を検証する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• GDPO: Learning to Directly Align Language Models with Diversity Using GFlowNets [19.485572131953937]
  本稿では,GFlowNet-DPO (GDPO) と呼ばれる多様性探索型RLアルゴリズムのオフライン優先アライメント設定における実用的応用を提案する。 実証的な結果から、GDPOはベースライン法よりもはるかに多様な応答を生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-19T13:07:52Z)
• Is Preference Alignment Always the Best Option to Enhance LLM-Based Translation? An Empirical Analysis [20.023077870947024]
  本研究ではコントラスト優先最適化(Contrastive Preference Optimization, CPO)に注目し, 翻訳品質に対する嗜好に基づくアライメントの影響を評価する実験を行う。 以上の結果から,CPO はアライメント指標に関して高品質なデータに対して常に Supervised Fine-Tuning (SFT) を上回りながら,下流評価指標間の不安定性をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-30T08:01:44Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Non-Parametric Online Learning from Human Feedback for Neural Machine Translation [54.96594148572804]
  本稿では,人間のフィードバックによるオンライン学習の課題について検討する。 従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。 モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T04:26:15Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Verdi: Quality Estimation and Error Detection for Bilingual [23.485380293716272]
  Verdiはバイリンガルコーパスのための単語レベルおよび文レベルの後編集作業推定のための新しいフレームワークである。 バイリンガルコーパスの対称性を活用し,NMT予測器にモデルレベル二重学習を適用した。 我々の手法は競争の勝者を圧倒し、他の基準法よりも大きなマージンで上回る。
  論文  参考訳（メタデータ） (2021-05-31T11:04:13Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。