論文の概要: Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning

• arxiv url: http://arxiv.org/abs/2301.06013v1
• Date: Sun, 15 Jan 2023 03:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:50:00.238461
• Title: Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning
• Title（参考訳）: 擬似ラベルの精度再考--相補学習によるテスト時間適応
• Authors: Jiayi Han, Longbin Zeng, Liang Du, Weiyang Ding, Jianfeng Feng
• Abstract要約: 本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
• 参考スコア（独自算出の注目度）: 10.396596055773012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a novel complementary learning approach to enhance test-time adaptation (TTA), which has been proven to exhibit good performance on testing data with distribution shifts such as corruptions. In test-time adaptation tasks, information from the source domain is typically unavailable and the model has to be optimized without supervision for test-time samples. Hence, usual methods assign labels for unannotated data with the prediction by a well-trained source model in an unsupervised learning framework. Previous studies have employed unsupervised objectives, such as the entropy of model predictions, as optimization targets to effectively learn features for test-time samples. However, the performance of the model is easily compromised by the quality of pseudo-labels, since inaccuracies in pseudo-labels introduce noise to the model. Therefore, we propose to leverage the "less probable categories" to decrease the risk of incorrect pseudo-labeling. The complementary label is introduced to designate these categories. We highlight that the risk function of complementary labels agrees with their Vanilla loss formula under the conventional true label distribution. Experiments show that the proposed learning algorithm achieves state-of-the-art performance on different datasets and experiment settings.
• Abstract（参考訳）: 本研究では,テスト時間適応(TTA)を向上させるための新たな補完学習手法を提案する。 テスト時間適応タスクでは、ソースドメインからの情報は通常利用できず、テスト時間サンプルの監督なしにモデルを最適化する必要がある。 したがって、通常の手法では、教師なし学習フレームワークにおいて、よく訓練されたソースモデルによる予測に注釈なしデータのラベルを割り当てる。 従来の研究では、モデル予測のエントロピーのような教師なしの目的を、テスト時間サンプルの特徴を効果的に学習するための最適化目標として採用していた。 しかし、擬似ラベルの不正確さがモデルにノイズをもたらすため、モデルの性能は擬似ラベルの品質によって容易に損なわれる。 そこで本研究では,誤った偽ラベルのリスクを減らすために,「あり得ないカテゴリ」を活用することを提案する。 これらのカテゴリを指定するために補完ラベルが導入される。 従来の真のラベル分布の下では,相補ラベルのリスク関数はバニラ損失公式と一致することを強調する。 実験により,提案した学習アルゴリズムは,異なるデータセットと実験環境上での最先端性能を実現することを示す。

関連論文リスト

• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• NorMatch: Matching Normalizing Flows with Discriminative Classifiers for Semi-Supervised Learning [8.749830466953584]
  Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。 この作業では、NorMatchというSSLの新しいフレームワークを紹介します。 数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
  論文  参考訳（メタデータ） (2022-11-17T15:39:18Z)
• LOPS: Learning Order Inspired Pseudo-Label Selection for Weakly Supervised Text Classification [28.37907856670151]
  擬似ラベルは性質上ノイズが多いため、正しいラベルを選択すると性能が向上する可能性がある。 本稿では,サンプルの学習順序を考慮に入れた新しい擬似ラベル選択手法LOPSを提案する。 LOPSは、既存の弱い教師付きテキスト分類手法のほとんどに対して、強力なパフォーマンスブーストプラグインと見なすことができる。
  論文  参考訳（メタデータ） (2022-05-25T06:46:48Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Confidence Adaptive Regularization for Deep Learning with Noisy Labels [2.0349696181833337]
  ディープニューラルネットワークのノイズラベルに対する記憶効果に関する最近の研究は、ネットワークが正しくラベル付けされたトレーニングサンプルに最初に適合し、誤ってラベル付けされたサンプルを記憶することを示している。 そこで本研究では,この早期学習現象に触発されて,誤記サンプルの暗記を防止する新しい方法を提案する。 我々は,合成および実世界のデータセットに関する理論的解析と実験を行い,本手法が最先端の手法に匹敵する結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-18T15:51:25Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
  本稿では,不確実性を超えた単純なサンプル選択基準を提案する。 予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
  論文  参考訳（メタデータ） (2020-10-14T09:00:42Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。