論文の概要: QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation

• arxiv url: http://arxiv.org/abs/2406.00049v1
• Date: Tue, 28 May 2024 17:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 15:59:42.238992
• Title: QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation
• Title（参考訳）: QUEST: 機械翻訳のための品質に配慮したメトロポリス・ハスティング
• Authors: Gonçalo R. A. Faria, Sweta Agrawal, António Farinhas, Ricardo Rei, José G. C. de Souza, André F. T. Martins,
• Abstract要約: 本稿では,ギブス分布のエネルギー関数として,ノイズ品質推定の過度な信頼を回避するための簡易かつ効果的な手法を提案する。 分布のモードを探す代わりに、メトロポリス・ハスティングスアルゴリズムを用いて高密度領域から複数のサンプルを生成する。
• 参考スコア（独自算出の注目度）: 25.165239478219267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important challenge in machine translation (MT) is to generate high-quality and diverse translations. Prior work has shown that the estimated likelihood from the MT model correlates poorly with translation quality. In contrast, quality evaluation metrics (such as COMET or BLEURT) exhibit high correlations with human judgments, which has motivated their use as rerankers (such as quality-aware and minimum Bayes risk decoding). However, relying on a single translation with high estimated quality increases the chances of "gaming the metric''. In this paper, we address the problem of sampling a set of high-quality and diverse translations. We provide a simple and effective way to avoid over-reliance on noisy quality estimates by using them as the energy function of a Gibbs distribution. Instead of looking for a mode in the distribution, we generate multiple samples from high-density areas through the Metropolis-Hastings algorithm, a simple Markov chain Monte Carlo approach. The results show that our proposed method leads to high-quality and diverse outputs across multiple language pairs (English$\leftrightarrow${German, Russian}) with two strong decoder-only LLMs (Alma-7b, Tower-7b).
• Abstract（参考訳）: 機械翻訳(MT)における重要な課題は、高品質で多様な翻訳を生成することである。 MTモデルから推定される推定推定値は,翻訳品質と相関が低いことを示す。 対照的に、品質評価指標(COMETやBLEURTなど)は、人間の判断と高い相関を示し、リランカーとしての使用(品質認識やベイズリスクの最小化など)を動機付けている。 しかし、高い推定品質の単一翻訳に依存すると、「メートル法をゲームする」可能性が高まる。 本稿では,高品質で多様な翻訳の集合をサンプリングする問題に対処する。 ギブス分布のエネルギー関数として利用することで、ノイズ品質推定の過度な信頼を回避するための簡便で効果的な方法を提供する。 分布のモードを探す代わりに、簡単なマルコフ連鎖モンテカルロアプローチであるメトロポリス・ハスティングスアルゴリズムを用いて高密度領域から複数のサンプルを生成する。 その結果,提案手法は複数の言語対 (英:$\leftrightarrow${German, Russian}) に対して,2つの強いデコーダのみのLLM (Alma-7b, Tower-7b) を持つ高品質で多様な出力をもたらすことがわかった。

関連論文リスト

• Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation [0.6998085564793366]
  本研究は品質推定量(QE)を用いて翻訳を合成するQE融合を導入する。 提案手法は, 半数以上の症例において, 新規な翻訳を生成できることを実証する。 我々は、QE融合がプール内の候補数と線形にスケールすることを実証的に確立する。
  論文  参考訳（メタデータ） (2024-01-12T16:52:41Z)
• An Empirical Study of Translation Hypothesis Ensembling with Large Language Models [9.068791020917217]
  大規模言語モデル (LLMs) は、一つの相応のソリューションになりつつあるが、時には幻覚や信頼できない出力を生成する。 そこで本研究では,仮説アンサンブルが生成したテキストの品質をいかに向上させるかを検討する。
  論文  参考訳（メタデータ） (2023-10-17T17:40:21Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages [6.049660810617423]
  XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。 WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
  論文  参考訳（メタデータ） (2022-07-31T16:23:23Z)
• Quality-Aware Decoding for Neural Machine Translation [64.24934199944875]
  ニューラルネットワーク翻訳(NMT)のための品質認識復号法を提案する。 参照フリーおよび参照ベースMT評価における最近のブレークスルーを,様々な推論手法を用いて活用する。 品質認識復号化は、最先端の自動測定値と人的評価値の両方で、MAPベースの復号化を一貫して上回ります。
  論文  参考訳（メタデータ） (2022-05-02T15:26:28Z)
• HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation [0.0]
  本研究では,機械翻訳出力のためのタスク指向・人間中心評価フレームワークHOPEを紹介する。 一般的に発生するエラーの種類は限られており、各翻訳ユニットにエラー重大度レベルを反映する誤差ペナルティポイント(EPP)の幾何学的進行を伴うスコアリングモデルを使用する。 このアプローチには、異なるシステムからの完全なMT出力を測定および比較する能力、品質に対する人間の認識を示す能力、MT出力を高品質にするために必要となる労力の即時見積、低コストで高速なアプリケーション、より高いIRRなど、いくつかの重要な利点がある。
  論文  参考訳（メタデータ） (2021-12-27T18:47:43Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。