論文の概要: Direct Preference Optimization for Neural Machine Translation with Minimum Bayes Risk Decoding
- arxiv url: http://arxiv.org/abs/2311.08380v2
- Date: Fri, 12 Apr 2024 14:07:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 19:35:34.043590
- Title: Direct Preference Optimization for Neural Machine Translation with Minimum Bayes Risk Decoding
- Title(参考訳): 最小ベイズリスクデコーディングによるニューラルマシン翻訳の直接選好最適化
- Authors: Guangyu Yang, Jinghong Chen, Weizhe Lin, Bill Byrne,
- Abstract要約: 本稿では,最近開発された強化学習手法である直接選好最適化(DPO)を用いて,追加計算なしで多言語大言語モデルを微調整する方法について述べる。
本手法では, 単言語による微調整のみを用い, DPOのないMLLMと比較して, 複数のNMTテストセットの性能を著しく向上させる。
- 参考スコア(独自算出の注目度): 15.309135455863753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimum Bayes Risk (MBR) decoding can significantly improve translation performance of Multilingual Large Language Models (MLLMs). However, MBR decoding is computationally expensive. We show how the recently developed Reinforcement Learning technique, Direct Preference Optimization (DPO), can fine-tune MLLMs to get the gains of MBR without any additional computation in inference. Our method uses only a small monolingual fine-tuning set and yields significantly improved performance on multiple NMT test sets compared to MLLMs without DPO.
- Abstract(参考訳): 最小ベイズリスク(MBR)復号化は多言語大言語モデル(MLLM)の翻訳性能を大幅に向上させる。
しかし、MBR復号法は計算コストが高い。
近年開発されたReinforcement Learning Technique, Direct Preference Optimization (DPO) は,MLLMを微調整することで,推論に余分な計算を加えることなくMBRのゲインを得る方法を示す。
本手法では, 単言語による微調整のみを用い, DPOのないMLLMと比較して, 複数のNMTテストセットの性能を著しく向上させる。
関連論文リスト
- Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。
最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。
本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-03-21T13:47:40Z) - adaptMLLM: Fine-Tuning Multilingual Language Models on Low-Resource
Languages with Integrated LLM Playgrounds [2.648836772989769]
adaptMLLMは、機械翻訳のための細調整多言語言語モデル(MLLM)のためのオープンソースツールである。
モデル評価のためのさまざまなメトリクスと、アプリケーション内で直接変換サービスとしてモデルをデプロイする機能を提供する。
AdaptMLLMシステムはLoResMT 2021の共有タスクのベースラインと比較して大幅に改善された。
論文 参考訳(メタデータ) (2024-03-04T14:49:18Z) - POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource
Unsupervised Neural Machine Translation [32.76853731410492]
低リソース言語(LRL)は、限られた並列データによる教師ありニューラルマシン翻訳の課題に直面している。
本稿では,大言語モデルのLRL翻訳能力を高めるために,確率駆動型メタグラフプロンプタ(POMP)を提案する。
本実験は3つのLRLの翻訳品質を著しく改善した。
論文 参考訳(メタデータ) (2024-01-11T00:03:36Z) - It's MBR All the Way Down: Modern Generation Techniques Through the Lens
of Minimum Bayes Risk [57.641436861482696]
最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
論文 参考訳(メタデータ) (2023-10-02T17:47:10Z) - Condensing Multilingual Knowledge with Lightweight Language-Specific
Modules [52.973832863842546]
本稿では,Language-Specific Matrix Synthesis (LMS)法を紹介する。
このアプローチは、2つのかなり小さな行列から低ランク行列を生成することでLSモジュールを構築する。
複数のLSモジュールからの多言語知識を、Fuse Distillation (FD) 技術を用いて単一の共有モジュールに格納する。
論文 参考訳(メタデータ) (2023-05-23T12:21:38Z) - mPMR: A Multilingual Pre-trained Machine Reader at Scale [58.734479274520446]
Multilingual Pre-trained Machine Reader (mPMR)は、MRC(Multilingual Machine Read Comprehension)スタイルの事前学習のための新しい手法である。
mPMRは、自然言語理解(NLU)を実行するために、多言語事前学習言語モデル(mPLM)をガイドすることを目的としている。
mPMRはまた、言語間スパン抽出とシーケンス分類に対処するための統一的な解決器も提供する。
論文 参考訳(メタデータ) (2023-05-23T03:40:36Z) - On Language Model Integration for RNN Transducer based Speech
Recognition [49.84285563767935]
共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。
ILM補正による性能改善の2つの主な理由を復号化解釈する。
また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:30:46Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳(メタデータ) (2021-09-09T03:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。