論文の概要: RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine
Translation
- arxiv url: http://arxiv.org/abs/2203.00201v1
- Date: Tue, 1 Mar 2022 03:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 22:06:50.332376
- Title: RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine
Translation
- Title(参考訳): RMBR: 機械翻訳のための正規化最小ベイズリスク評価フレームワーク
- Authors: Yidan Zhang, Yu Wan, Dayiheng Liu, Baosong Yang, Zhenan He
- Abstract要約: ビームサーチは、ニューラルネットワーク翻訳(NMT)の最も広く使われている復号法である
実際には、n候補のうち、最もログ確率の高いトップ1候補が好まれる候補として選択される。
しかし、このトップ1候補は、n-bestリストの中では最高の全体的な翻訳ではないかもしれない。
- 参考スコア(独自算出の注目度): 23.92144747868981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Beam search is the most widely used decoding method for neural machine
translation (NMT). In practice, the top-1 candidate with the highest
log-probability among the n candidates is selected as the preferred one.
However, this top-1 candidate may not be the best overall translation among the
n-best list. Recently, Minimum Bayes Risk (MBR) decoding has been proposed to
improve the quality for NMT, which seeks for a consensus translation that is
closest on average to other candidates from the n-best list. We argue that MBR
still suffers from the following problems: The utility function only considers
the lexical-level similarity between candidates; The expected utility considers
the entire n-best list which is time-consuming and inadequate candidates in the
tail list may hurt the performance; Only the relationship between candidates is
considered. To solve these issues, we design a regularized MBR reranking
framework (RMBR), which considers semantic-based similarity and computes the
expected utility for each candidate by truncating the list. We expect the
proposed framework to further consider the translation quality and model
uncertainty of each candidate. Thus the proposed quality regularizer and
uncertainty regularizer are incorporated into the framework. Extensive
experiments on multiple translation tasks demonstrate the effectiveness of our
method.
- Abstract(参考訳): ビーム探索は、ニューラルマシン翻訳(nmt)の最も広く使われている復号法である。
実際には、n候補のうち最もログ確率の高いトップ1候補が好ましい候補として選ばれる。
しかし、このトップ1候補はn-bestリストの中でベストな翻訳ではないかもしれない。
近年,n-bestリストから他の候補に最も近いコンセンサス変換を求めるNMTの品質向上のために,最小ベイズリスク(MBR)復号法が提案されている。
実用性関数は、候補間の語彙レベルの類似性のみを考慮し、期待されるユーティリティは、末尾リストの時間的および不十分な候補全体のn-bestリストがパフォーマンスを損なう可能性があることを考慮し、候補間の関係のみを考慮する。
これらの課題を解決するために、意味に基づく類似性を考慮した正規化MBRリグレードフレームワーク(RMBR)を設計し、リストをトラストすることで各候補に対して期待されるユーティリティを算出する。
提案するフレームワークは,各候補の翻訳品質とモデルの不確実性をさらに検討する。
そこで提案する品質正規化器と不確実性正規化器をフレームワークに組み込む。
複数の翻訳タスクに対する大規模な実験により,本手法の有効性が示された。
関連論文リスト
- Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [61.63208012250885]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳(メタデータ) (2024-02-06T18:59:30Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-11-25T03:38:14Z) - Quality-Aware Translation Models: Efficient Generation and Quality
Estimation in a Single Model [80.52182596068464]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。
我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文 参考訳(メタデータ) (2023-10-10T15:33:51Z) - It's MBR All the Way Down: Modern Generation Techniques Through the Lens
of Minimum Bayes Risk [57.641436861482696]
最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
論文 参考訳(メタデータ) (2023-10-02T17:47:10Z) - Candidate Set Re-ranking for Composed Image Retrieval with Dual
Multi-modal Encoder [45.60134971181856]
合成画像検索は、参照画像とテキストペアからなる所定のマルチモーダルユーザクエリに最もよく一致する画像を見つけることを目的としている。
既存の方法では、コーパス全体へのイメージ埋め込みをプリコンプリートし、これらを、テスト時にクエリテキストによって修正された参照イメージ埋め込みと比較する。
両スキームの利点を2段階モデルで組み合わせることを提案する。
論文 参考訳(メタデータ) (2023-05-25T17:56:24Z) - Implicitly normalized forecaster with clipping for linear and non-linear
heavy-tailed multi-armed bandits [85.27420062094086]
Implicitly Normalized Forecaster (INF) は、敵対的マルチアームバンディット(MAB)問題に対する最適解であると考えられている。
重み付き設定のMAB問題に対するクリッピング(INFclip)を用いたINFの新バージョン"Implicitly Normalized Forecaster"を提案する。
INFclipは線形重み付きMAB問題に対して最適であり、非線形問題に対して有効であることを示す。
論文 参考訳(メタデータ) (2023-05-11T12:00:43Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-03T11:09:13Z) - Improving Screening Processes via Calibrated Subset Selection [35.952153033163576]
私たちはCalibrated Subset Selection (CSS) と呼ばれる分布自由スクリーニングアルゴリズムを開発した。
CSSは、期待されている数の適格候補を含む候補のほぼ最適のショートリストを見つける。
米国国勢調査調査データの実験は、我々の理論結果を検証し、我々のアルゴリズムによって提供されるショートリストが、いくつかの競争基盤線によって提供されるものよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-02T17:15:44Z) - Sampling-Based Minimum Bayes Risk Decoding for Neural Machine
Translation [20.76001576262768]
本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。
また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
論文 参考訳(メタデータ) (2021-08-10T14:35:24Z) - Rethinking the Evaluation of Neural Machine Translation [25.036685025571927]
本稿では,探索誤りの影響を回避し,モデルランキングの観点からシステムレベルの評価を行う新しい評価プロトコルを提案する。
提案手法は,ビームサーチではなく,新たに提案した最上位k$デコードに基づく。
論文 参考訳(メタデータ) (2021-06-29T09:59:50Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳(メタデータ) (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。