論文の概要: Quality-Aware Decoding for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2205.00978v1
- Date: Mon, 2 May 2022 15:26:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 15:28:16.238962
- Title: Quality-Aware Decoding for Neural Machine Translation
- Title(参考訳): ニューラルマシン翻訳のための品質認識復号
- Authors: Patrick Fernandes, Ant\'onio Farinhas, Ricardo Rei, Jos\'e G. C. de
Souza, Perez Ogayo, Graham Neubig, Andr\'e F. T. Martins
- Abstract要約: ニューラルネットワーク翻訳(NMT)のための品質認識復号法を提案する。
参照フリーおよび参照ベースMT評価における最近のブレークスルーを,様々な推論手法を用いて活用する。
品質認識復号化は、最先端の自動測定値と人的評価値の両方で、MAPベースの復号化を一貫して上回ります。
- 参考スコア(独自算出の注目度): 64.24934199944875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the progress in machine translation quality estimation and evaluation
in the last years, decoding in neural machine translation (NMT) is mostly
oblivious to this and centers around finding the most probable translation
according to the model (MAP decoding), approximated with beam search. In this
paper, we bring together these two lines of research and propose quality-aware
decoding for NMT, by leveraging recent breakthroughs in reference-free and
reference-based MT evaluation through various inference methods like $N$-best
reranking and minimum Bayes risk decoding. We perform an extensive comparison
of various possible candidate generation and ranking methods across four
datasets and two model classes and find that quality-aware decoding
consistently outperforms MAP-based decoding according both to state-of-the-art
automatic metrics (COMET and BLEURT) and to human assessments. Our code is
available at https://github.com/deep-spin/qaware-decode.
- Abstract(参考訳): 近年の機械翻訳の品質評価と評価の進歩にもかかわらず、ニューラルマシン翻訳(NMT)の復号化はほとんど不可能であり、ビームサーチにより近似されたモデル(MAP復号)に基づいて最も確率の高い翻訳を見つけることに集中している。
本稿では,N$-bestリグレードや最小ベイズリスクデコーディングといった様々な推論手法を用いて,参照フリーおよび参照ベースMT評価における最近のブレークスルーを活用することにより,これらの2つの研究をまとめ,NMTの品質認識デコーディングを提案する。
4つのデータセットと2つのモデルクラスにまたがる様々な候補生成手法とランク付け手法を広範囲に比較した結果、品質認識復号法は、最先端自動メトリクス(COMET、BLEURT)と人的評価の両方でMAPベースの復号法より一貫して優れていることがわかった。
私たちのコードはhttps://github.com/deep-spin/qaware-decodeで利用可能です。
関連論文リスト
- Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳(メタデータ) (2024-02-06T18:59:30Z) - Exploring Automatic Evaluation Methods based on a Decoder-based LLM for
Text Generation [16.78350863261211]
本稿では,エンコーダモデルを用いたチューニングや,同じ条件下での大規模言語モデルなど,様々な手法を比較する。
実験結果から, 調律エンコーダモデルと比較すると, 調律デコーダモデルの性能は低かった。
また、ChatGPTのような非常に大きなデコーダベースのモデルのコンテキスト内学習は、きめ細かいセマンティックな違いを識別することが困難であることも明らかにした。
論文 参考訳(メタデータ) (2023-10-17T06:53:00Z) - Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。
我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文 参考訳(メタデータ) (2023-10-10T15:33:51Z) - On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。
そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
論文 参考訳(メタデータ) (2023-06-08T11:30:43Z) - Neural Machine Translation for Code Generation [0.7607163273993514]
コード生成のためのNMTでは、入力で表現された制約を満たすソースコードを生成する。
本稿では,コード生成文献のNMTを調査し,これまで検討されてきた様々な手法のカタログ化を行う。
本稿では,既存手法の限界と今後の研究方向性について論じる。
論文 参考訳(メタデータ) (2023-05-22T21:43:12Z) - Competency-Aware Neural Machine Translation: Can Machine Translation
Know its Own Translation Quality? [61.866103154161884]
ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。
本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。
提案手法は品質評価において優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2022-11-25T02:39:41Z) - FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。
このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
論文 参考訳(メタデータ) (2022-10-01T05:02:04Z) - Rethinking the Evaluation of Neural Machine Translation [25.036685025571927]
本稿では,探索誤りの影響を回避し,モデルランキングの観点からシステムレベルの評価を行う新しい評価プロトコルを提案する。
提案手法は,ビームサーチではなく,新たに提案した最上位k$デコードに基づく。
論文 参考訳(メタデータ) (2021-06-29T09:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。