論文の概要: Perception and Semantic Aware Regularization for Sequential Confidence Calibration

• arxiv url: http://arxiv.org/abs/2305.19498v1
• Date: Wed, 31 May 2023 02:16:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:59:03.664513
• Title: Perception and Semantic Aware Regularization for Sequential Confidence Calibration
• Title（参考訳）: 逐次信頼度校正のための知覚と意味認識正規化
• Authors: Zhenghua Peng, Yu Luo, Tianshui Chen, Keke Xu, Shuangping Huang
• Abstract要約: 本稿では,パーセプションとセマンティックなシーケンス正規化フレームワークを提案する。 意味的文脈に依存しない認識と言語モデルを導入し、高い知覚的類似性と意味的相関性を持つ類似のシーケンスを取得する。 シーンテキストや音声認識など,標準シーケンス認識タスクの実験により,本手法が新たな最先端の結果を設定できることが実証された。
• 参考スコア（独自算出の注目度）: 12.265757315192497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep sequence recognition (DSR) models receive increasing attention due to their superior application to various applications. Most DSR models use merely the target sequences as supervision without considering other related sequences, leading to over-confidence in their predictions. The DSR models trained with label smoothing regularize labels by equally and independently smoothing each token, reallocating a small value to other tokens for mitigating overconfidence. However, they do not consider tokens/sequences correlations that may provide more effective information to regularize training and thus lead to sub-optimal performance. In this work, we find tokens/sequences with high perception and semantic correlations with the target ones contain more correlated and effective information and thus facilitate more effective regularization. To this end, we propose a Perception and Semantic aware Sequence Regularization framework, which explore perceptively and semantically correlated tokens/sequences as regularization. Specifically, we introduce a semantic context-free recognition and a language model to acquire similar sequences with high perceptive similarities and semantic correlation, respectively. Moreover, over-confidence degree varies across samples according to their difficulties. Thus, we further design an adaptive calibration intensity module to compute a difficulty score for each samples to obtain finer-grained regularization. Extensive experiments on canonical sequence recognition tasks, including scene text and speech recognition, demonstrate that our method sets novel state-of-the-art results. Code is available at https://github.com/husterpzh/PSSR.
• Abstract（参考訳）: ディープシークエンス認識(DSR)モデルは、様々な応用に優れているため、注目を集めている。 ほとんどのDSRモデルは、他の関連するシーケンスを考慮せずに、単に対象シーケンスを監視として使用するため、予測に過度な自信が生じる。 ラベルスムーズな正規化ラベルでトレーニングされたDSRモデルは、各トークンを均等かつ独立に滑らかにし、他のトークンに小さな値を割り当て、過信を緩和する。 しかし、トレーニングを規則化する上でより効果的な情報を提供し、それによって準最適パフォーマンスをもたらすトークン/シーケンス相関は考慮していない。 本研究では, より相関性が高く, 効果的な情報を含む, 高知覚・意味相関を持つトークンやシーケンスを見つけ, より効果的な正規化を容易にする。 そこで本研究では,知覚的かつ意味的に関連付けられたトークン/シーケンスを正規化として探索する知覚・意味認識シーケンス正規化フレームワークを提案する。 具体的には,意味的文脈自由認識と言語モデルを導入し,高い知覚的類似性と意味的相関性を持つ類似配列を取得する。 さらに、過信度は、その困難さに応じてサンプルによって異なる。 これにより,各試料の難易度を算出し,細粒度正則化を実現する適応校正インテンシティモジュールを更に設計する。 シーンテキストや音声認識を含む正準シーケンス認識タスクの広範な実験により,新たな最先端結果が得られた。 コードはhttps://github.com/husterpzh/pssrで入手できる。

関連論文リスト

• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
  本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。 我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T12:47:29Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Context-Aware Selective Label Smoothing for Calibrating Sequence Recognition Model [16.7796720078021]
  逐次データを校正するための文脈対応選択ラベル平滑化法(CASLS)を提案する。 シーンテキスト認識や音声認識などのシーケンス認識タスクの結果は,本手法が最先端の性能を達成できることを実証している。
  論文  参考訳（メタデータ） (2023-03-13T09:27:52Z)
• How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling? [11.481435098152893]
  本稿では,生成配列ラベリングにおけるモデル信頼度の推定に関する実証的な知見を提供する。 6つの公開データセットで検証した結果,提案手法は生成配列ラベルモデルのキャリブレーション誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2022-12-21T05:01:01Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
  SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。 筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。 実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
  論文  参考訳（メタデータ） (2022-03-30T03:52:50Z)
• Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene [10.822477939237459]
  トークンレベルとシーケンスレベルの両方のコントラスト学習を統合するために,ポストトレーニングのためのコントラストマスク言語モデリング(CMLM)を提案する。 CMLMは、データ拡張を必要とせずに、数ショット設定で、最近のいくつかのポストトレーニングメソッドを超越している。
  論文  参考訳（メタデータ） (2021-06-04T08:17:48Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。