論文の概要: DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding

• arxiv url: http://arxiv.org/abs/2212.04205v1
• Date: Thu, 8 Dec 2022 11:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 15:24:46.095616
• Title: DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding
• Title（参考訳）: DC-MBR:最小ベイズリスク復号のための分散冷却
• Authors: Jianhao Yan, Jin Xu, Fandong Meng, Jie Zhou, Yue Zhang
• Abstract要約: 最小ベイズリスク復号(MBR)は、ニューラルネットワーク翻訳において有望な復号アルゴリズムとして現れる。 ラベルの平滑化はビームサーチによる良好な改善と各種タスクの汎用性の向上をもたらすため,MBRはラベルの平滑化に優れる。 トークンレベルの分布とシーケンスレベルの分布にラベルスムージングの不整合が生じることを示す。
• 参考スコア（独自算出の注目度）: 53.33313271531839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimum Bayesian Risk Decoding (MBR) emerges as a promising decoding algorithm in Neural Machine Translation. However, MBR performs poorly with label smoothing, which is surprising as label smoothing provides decent improvement with beam search and improves generality in various tasks. In this work, we show that the issue arises from the un-consistency of label smoothing on the token-level and sequence-level distributions. We demonstrate that even though label smoothing only causes a slight change in the token-level, the sequence-level distribution is highly skewed. We coin the issue \emph{distributional over-smoothness}. To address this issue, we propose a simple and effective method, Distributional Cooling MBR (DC-MBR), which manipulates the entropy of output distributions by tuning down the Softmax temperature. We theoretically prove the equivalence between pre-tuning label smoothing factor and distributional cooling. Experiments on NMT benchmarks validate that distributional cooling improves MBR's efficiency and effectiveness in various settings.
• Abstract（参考訳）: 最小ベイズリスク復号(MBR)はニューラルネットワーク翻訳において有望な復号アルゴリズムとして現れる。 しかし,MBRではラベルの平滑化が不十分であり,ビームサーチによる良好な改善と各種タスクの汎用性の向上が期待できる。 本研究では,トークンレベルとシーケンスレベル分布のラベル平滑化の不整合が問題の原因であることを示す。 ラベル平滑化はトークンレベルではわずかな変化しか生じないが,シーケンスレベルの分布は非常に歪んでいることを示す。 問題は emph{distributional over-smoothness} で表される。 この問題に対処するために,ソフトマックス温度を調整して出力分布のエントロピーを制御する,シンプルで効果的な分散冷却MBR(DC-MBR)を提案する。 理論上,事前調整ラベル平滑化係数と分布冷却の等価性を証明する。 nmtベンチマーク実験は、分布冷却が様々な環境でmbrの効率と有効性を改善することを検証している。

関連論文リスト

• Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation [30.323103270892734]
  ニューラルマシン翻訳(NMT)の一般的な手法である、最大後部復号法は、推定後部確率を最大化することを目的としている。 最小ベイズリスク(MBR)復号法は、最も期待されているユーティリティで仮説を求める方法を提供する。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
  本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。 本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T07:58:07Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Stochastic Gradient Descent under Markovian Sampling Schemes [3.04585143845864]
  マルコフ型サンプリングスキームにのみアクセス可能なバニラ勾配勾配の変動について検討する。 我々は、基礎となるマルコフ連鎖で可能な最小限の制限的な仮定の下で収束率を得ることに焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-28T09:18:00Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• GMAC: A Distributional Perspective on Actor-Critic Framework [6.243642831536256]
  本稿では,新しいサンプル置換アルゴリズムSR($lambda$)から生成した複数ステップのベルマン目標分布を用いて,クラマー距離を最小化する手法を提案する。 我々は,GMACが値分布の正しい表現を捕捉し,計算コストの低い従来のアクター・クリティカル法の性能を向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2021-05-24T15:50:26Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。