Fugu-MT 論文翻訳(概要): Alignment Entropy Regularization

論文の概要: Alignment Entropy Regularization

arxiv url: http://arxiv.org/abs/2212.12442v1
Date: Thu, 22 Dec 2022 18:51:02 GMT
ステータス: 処理完了
システム内更新日: 2022-12-26 16:19:09.200873
Title: Alignment Entropy Regularization
Title（参考訳）: アライメントエントロピー正則化
Authors: Ehsan Variani, Ke Wu, David Rybach, Cyril Allauzen, Michael Riley
Abstract要約: エントロピーを用いてモデルの不確実性を測定する。許容アライメントの小さな部分集合にのみ確率質量を分配するようモデルに促すエントロピー正則化の効果を評価する。
参考スコア（独自算出の注目度）: 13.904347165738491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing training criteria in automatic speech recognition(ASR) permit the model to freely explore more than one time alignments between the feature and label sequences. In this paper, we use entropy to measure a model's uncertainty, i.e. how it chooses to distribute the probability mass over the set of allowed alignments. Furthermore, we evaluate the effect of entropy regularization in encouraging the model to distribute the probability mass only on a smaller subset of allowed alignments. Experiments show that entropy regularization enables a much simpler decoding method without sacrificing word error rate, and provides better time alignment quality.
Abstract（参考訳）: 自動音声認識(ASR)における既存の訓練基準により、モデルが特徴とラベルシーケンス間の複数の時間的アライメントを自由に探索することができる。本稿では,モデルの不確実性を測定するためにエントロピーを用いる。すなわち,許容アライメントの集合に確率質量を分配する方法である。さらに,モデルが許容アライメントのより小さい部分集合にのみ確率質量を分配することを奨励するエントロピー正則化の効果を評価した。実験により,単語誤り率を犠牲にすることなく,エントロピー正規化によりより単純な復号化が可能であり,時間アライメントの品質が向上することが示された。

関連論文リスト

Distributional Properties of Subword Regularization [25.824110425757198]
BPEとMaxMatchは2つの人気のあるサブワードトークン化スキームであり、ドロップアウト正規化のバリエーションがある。これらの変種は、単語ごとのトークン化の小さなセットに大きく偏っていることを示す。既存のトークン化の側面の代替として使用するトークン化を均一に行うアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-21T08:53:35Z)
Decoding-time Realignment of Language Models [44.54462397717971]
そこで本研究では, 整列モデルの正則化強度をリトレーニングせずに探索し, 評価する手法を提案する。 DeRaはアライメントの度合いをコントロールし、アンアライメントモデルとアライメントモデルのスムーズな移行を可能にする。
論文参考訳（メタデータ） (2024-02-05T13:31:28Z)
Revisiting the Entropy Semiring for Neural Speech Recognition [17.408741279118857]
正規化や蒸留によるモデル監視にアライメントエントロピーをどのように利用できるかを示す。また,セミリングフレームワークにおけるCTCとRNN-Tのオープンソース実装にも貢献する。
論文参考訳（メタデータ） (2023-12-13T05:22:45Z)
Hard Nominal Example-aware Template Mutual Matching for Industrial Anomaly Detection [74.9262846410559]
textbfHard Nominal textbfExample-aware textbfTemplate textbfMutual textbfMatching (HETMM) textitHETMMは、厳密なプロトタイプベースの決定境界を構築することを目的としており、ハードノミナルな例と異常を正確に区別することができる。
論文参考訳（メタデータ） (2023-03-28T17:54:56Z)
Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-11T15:20:54Z)
Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文参考訳（メタデータ） (2022-06-23T14:16:30Z)
Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。本手法は精度と不確実性の両方を向上することを示す。
論文参考訳（メタデータ） (2021-09-27T01:09:08Z)
Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
このようなリスク不変予測器の学習に重要な課題はショートカット学習である。この課題に対処するために、フレキシブルで因果的なアプローチを提案する。この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
論文参考訳（メタデータ） (2021-05-13T16:58:45Z)
Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data [42.58055728867802]
微調整済みの事前学習言語モデルは、分布内および分布外データの両方に対して深刻な誤校正を被る可能性がある。この問題を軽減するために,正規化ファインチューニング手法を提案する。本手法は6つのデータセット上での予測校正誤差,誤分類検出,OOD検出において,既存のテキスト分類の校正手法よりも優れている。
論文参考訳（メタデータ） (2020-10-22T07:48:38Z)
Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。我々は,他のエントロピー正規化手法の使用を推奨する。
論文参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。