論文の概要: Context-Aware Selective Label Smoothing for Calibrating Sequence Recognition Model

• arxiv url: http://arxiv.org/abs/2303.06946v1
• Date: Mon, 13 Mar 2023 09:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 15:45:06.631337
• Title: Context-Aware Selective Label Smoothing for Calibrating Sequence Recognition Model
• Title（参考訳）: 列認識モデルの校正のための文脈対応選択ラベル平滑化
• Authors: Shuangping Huang, Yu Luo, Zhenzhou Zhuang, Jin-Gang Yu, Mengchao He, Yongpan Wang
• Abstract要約: 逐次データを校正するための文脈対応選択ラベル平滑化法(CASLS)を提案する。 シーンテキスト認識や音声認識などのシーケンス認識タスクの結果は,本手法が最先端の性能を達成できることを実証している。
• 参考スコア（独自算出の注目度）: 16.7796720078021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of deep neural network (DNN) on sequential data (i.e., scene text and speech) recognition, it suffers from the over-confidence problem mainly due to overfitting in training with the cross-entropy loss, which may make the decision-making less reliable. Confidence calibration has been recently proposed as one effective solution to this problem. Nevertheless, the majority of existing confidence calibration methods aims at non-sequential data, which is limited if directly applied to sequential data since the intrinsic contextual dependency in sequences or the class-specific statistical prior is seldom exploited. To the end, we propose a Context-Aware Selective Label Smoothing (CASLS) method for calibrating sequential data. The proposed CASLS fully leverages the contextual dependency in sequences to construct confusion matrices of contextual prediction statistics over different classes. Class-specific error rates are then used to adjust the weights of smoothing strength in order to achieve adaptive calibration. Experimental results on sequence recognition tasks, including scene text recognition and speech recognition, demonstrate that our method can achieve the state-of-the-art performance.
• Abstract（参考訳）: シーケンシャルデータ(シーンテキストと音声)認識におけるディープニューラルネットワーク(DNN)の成功にもかかわらず、主にクロスエントロピー損失によるトレーニングの過度な適合により、自信過剰な問題に悩まされ、意思決定の信頼性が低下する可能性がある。 近年,この問題に対する効果的な解決策として信頼度校正が提案されている。 それにもかかわらず、既存の信頼度校正手法の大多数は、シーケンシャルなデータに直接適用した場合に制限される非シーケンスデータを対象としている。 最後に,シーケンシャルデータのキャリブレーションのための文脈認識選択的ラベル平滑化(casls)手法を提案する。 提案したCASLSはシーケンスのコンテキスト依存性をフル活用し、異なるクラスにおけるコンテキスト予測統計の混乱行列を構築する。 クラス固有のエラーレートは、適応キャリブレーションを達成するために平滑化強度の重みを調整するために使用される。 シーンテキスト認識や音声認識などのシーケンス認識タスクの実験結果から,本手法が最先端の性能を実現することを示す。

関連論文リスト

• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Perception and Semantic Aware Regularization for Sequential Confidence Calibration [12.265757315192497]
  本稿では,パーセプションとセマンティックなシーケンス正規化フレームワークを提案する。 意味的文脈に依存しない認識と言語モデルを導入し、高い知覚的類似性と意味的相関性を持つ類似のシーケンスを取得する。 シーンテキストや音声認識など,標準シーケンス認識タスクの実験により,本手法が新たな最先端の結果を設定できることが実証された。
  論文  参考訳（メタデータ） (2023-05-31T02:16:29Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
  本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。 ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。 ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
  論文  参考訳（メタデータ） (2023-02-17T02:40:04Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。