論文の概要: RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine Translation

• arxiv url: http://arxiv.org/abs/2203.00201v1
• Date: Tue, 1 Mar 2022 03:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 22:06:50.332376
• Title: RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine Translation
• Title（参考訳）: RMBR: 機械翻訳のための正規化最小ベイズリスク評価フレームワーク
• Authors: Yidan Zhang, Yu Wan, Dayiheng Liu, Baosong Yang, Zhenan He
• Abstract要約: ビームサーチは、ニューラルネットワーク翻訳(NMT)の最も広く使われている復号法である 実際には、n候補のうち、最もログ確率の高いトップ1候補が好まれる候補として選択される。 しかし、このトップ1候補は、n-bestリストの中では最高の全体的な翻訳ではないかもしれない。
• 参考スコア（独自算出の注目度）: 23.92144747868981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beam search is the most widely used decoding method for neural machine translation (NMT). In practice, the top-1 candidate with the highest log-probability among the n candidates is selected as the preferred one. However, this top-1 candidate may not be the best overall translation among the n-best list. Recently, Minimum Bayes Risk (MBR) decoding has been proposed to improve the quality for NMT, which seeks for a consensus translation that is closest on average to other candidates from the n-best list. We argue that MBR still suffers from the following problems: The utility function only considers the lexical-level similarity between candidates; The expected utility considers the entire n-best list which is time-consuming and inadequate candidates in the tail list may hurt the performance; Only the relationship between candidates is considered. To solve these issues, we design a regularized MBR reranking framework (RMBR), which considers semantic-based similarity and computes the expected utility for each candidate by truncating the list. We expect the proposed framework to further consider the translation quality and model uncertainty of each candidate. Thus the proposed quality regularizer and uncertainty regularizer are incorporated into the framework. Extensive experiments on multiple translation tasks demonstrate the effectiveness of our method.
• Abstract（参考訳）: ビーム探索は、ニューラルマシン翻訳(nmt)の最も広く使われている復号法である。 実際には、n候補のうち最もログ確率の高いトップ1候補が好ましい候補として選ばれる。 しかし、このトップ1候補はn-bestリストの中でベストな翻訳ではないかもしれない。 近年,n-bestリストから他の候補に最も近いコンセンサス変換を求めるNMTの品質向上のために,最小ベイズリスク(MBR)復号法が提案されている。 実用性関数は、候補間の語彙レベルの類似性のみを考慮し、期待されるユーティリティは、末尾リストの時間的および不十分な候補全体のn-bestリストがパフォーマンスを損なう可能性があることを考慮し、候補間の関係のみを考慮する。 これらの課題を解決するために、意味に基づく類似性を考慮した正規化MBRリグレードフレームワーク(RMBR)を設計し、リストをトラストすることで各候補に対して期待されるユーティリティを算出する。 提案するフレームワークは,各候補の翻訳品質とモデルの不確実性をさらに検討する。 そこで提案する品質正規化器と不確実性正規化器をフレームワークに組み込む。 複数の翻訳タスクに対する大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Improving Minimum Bayes Risk Decoding with Multi-Prompt [10.401677244785166]
  提案するマルチプロンプト復号法では,多くの候補が推論時にプロンプトバンクから復号される。 候補をアンサンブルするために、最小ベイズリスク(MBR)デコーディングを使用し、トレーニングされた値メトリックを使用して最終的な出力を選択する。
  論文  参考訳（メタデータ） (2024-07-22T02:57:10Z)
• Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation [30.323103270892734]
  ニューラルマシン翻訳(NMT)の一般的な手法である、最大後部復号法は、推定後部確率を最大化することを目的としている。 最小ベイズリスク(MBR)復号法は、最も期待されているユーティリティで仮説を求める方法を提供する。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms [19.543681023903456]
  行列補完問題として最小ベイズリスク(MBR)デコーディングを定式化する。 我々は、スコアのランダムな部分集合のみを計算し、行列の欠落したエントリを効率的に回収することでこれを活用する。 機械翻訳タスクに対する実験結果から,提案手法は1/16の有効量計算を必要とすることが示された。
  論文  参考訳（メタデータ） (2024-06-05T00:54:03Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
  本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。 提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。 実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-25T03:38:14Z)
• It's MBR All the Way Down: Modern Generation Techniques Through the Lens of Minimum Bayes Risk [57.641436861482696]
  最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
  論文  参考訳（メタデータ） (2023-10-02T17:47:10Z)
• Implicitly normalized forecaster with clipping for linear and non-linear heavy-tailed multi-armed bandits [85.27420062094086]
  Implicitly Normalized Forecaster (INF) は、敵対的マルチアームバンディット(MAB)問題に対する最適解であると考えられている。 重み付き設定のMAB問題に対するクリッピング(INFclip)を用いたINFの新バージョン"Implicitly Normalized Forecaster"を提案する。 INFclipは線形重み付きMAB問題に対して最適であり、非線形問題に対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-11T12:00:43Z)
• DICTDIS: Dictionary Constrained Disambiguation for Improved NMT [50.888881348723295]
  我々は辞書から派生した複数の候補翻訳の曖昧さを解消する語彙制約付きNMTシステムであるDictDisを提案する。 我々は、規制、金融、工学を含む様々な分野において、英語・ヒンディー語・英語・ドイツ語文に関する広範な実験を通じて、DictDisの有用性を実証する。
  論文  参考訳（メタデータ） (2022-10-13T13:04:16Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation [20.76001576262768]
  本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。 また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T14:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。