論文の概要: Linear-time Minimum Bayes Risk Decoding with Reference Aggregation

• arxiv url: http://arxiv.org/abs/2402.04251v2
• Date: Mon, 3 Jun 2024 09:33:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:03:18.275927
• Title: Linear-time Minimum Bayes Risk Decoding with Reference Aggregation
• Title（参考訳）: 参照集約による線形時間最小ベイズリスクデコード
• Authors: Jannis Vamvas, Rico Sennrich,
• Abstract要約: 最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
• 参考スコア（独自算出の注目度）: 52.1701152610258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimum Bayes Risk (MBR) decoding is a text generation technique that has been shown to improve the quality of machine translations, but is expensive, even if a sampling-based approximation is used. Besides requiring a large number of sampled sequences, it requires the pairwise calculation of a utility metric, which has quadratic complexity. In this paper, we propose to approximate pairwise metric scores with scores calculated against aggregated reference representations. This changes the complexity of utility estimation from $O(n^2)$ to $O(n)$, while empirically preserving most of the quality gains of MBR decoding. We release our source code at https://github.com/ZurichNLP/mbr
• Abstract（参考訳）: 最小ベイズリスク(MBR)復号法(Minimum Bayes Risk, MBR)は、機械翻訳の品質向上を図ったテキスト生成手法であるが、サンプリングベースの近似を用いても高価である。 多数のサンプルシーケンスを必要とするのに加えて、2次複雑さを持つ実用計量のペアワイズ計算が必要となる。 本稿では,集約された参照表現に対して計算されたスコアを用いて,ペアワイズメトリックスコアを近似する。 これはユーティリティ推定の複雑さを$O(n^2)$から$O(n)$に変更し、MBRデコードの品質向上を実証的に保存する。 ソースコードはhttps://github.com/ZurichNLP/mbrで公開しています。

関連論文リスト

• mbrs: A Library for Minimum Bayes Risk Decoding [27.207891251898904]
  mbrsは最小ベイズリスク(MBR)デコーディングのライブラリである。 MBRはテキスト生成タスクの決定ルールであり、従来の最大値(MAP)復号よりも優れている。 私たちはMITライセンスのオープンソースプロジェクトとしてmbrsを公開しました。
  論文  参考訳（メタデータ） (2024-08-08T02:28:32Z)
• Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms [19.543681023903456]
  行列補完問題として最小ベイズリスク(MBR)デコーディングを定式化する。 我々は、スコアのランダムな部分集合のみを計算し、行列の欠落したエントリを効率的に回収することでこれを活用する。 機械翻訳タスクに対する実験結果から,提案手法は1/16の有効量計算を必要とすることが示された。
  論文  参考訳（メタデータ） (2024-06-05T00:54:03Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Centroid-Based Efficient Minimum Bayes Risk Decoding [38.04403087991526]
  最小ベイズリスク(MBR)復号化はCOMETを用いて最先端の翻訳性能を達成した。 MBR復号法は、翻訳仮説とすべての参照翻訳の間の期待スコアを計算するため、2次時間を必要とする。 提案手法は特徴空間内の参照翻訳をクラスタリングし,各クラスタのセントロイドを用いてスコアを算出する。
  論文  参考訳（メタデータ） (2024-02-17T05:15:12Z)
• Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
  本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。 提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。 実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-25T03:38:14Z)
• Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
  そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。 我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
  論文  参考訳（メタデータ） (2023-10-10T15:33:51Z)
• Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation [20.749494856466526]
  最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。 それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
  論文  参考訳（メタデータ） (2023-05-17T00:11:38Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Quality-Aware Decoding for Neural Machine Translation [64.24934199944875]
  ニューラルネットワーク翻訳(NMT)のための品質認識復号法を提案する。 参照フリーおよび参照ベースMT評価における最近のブレークスルーを,様々な推論手法を用いて活用する。 品質認識復号化は、最先端の自動測定値と人的評価値の両方で、MAPベースの復号化を一貫して上回ります。
  論文  参考訳（メタデータ） (2022-05-02T15:26:28Z)
• Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
  我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-01T14:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。