論文の概要: Towards Understanding GD with Hard and Conjugate Pseudo-labels for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2210.10019v1
• Date: Tue, 18 Oct 2022 17:39:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 15:31:58.555156
• Title: Towards Understanding GD with Hard and Conjugate Pseudo-labels for Test-Time Adaptation
• Title（参考訳）: テスト時間適応のためのハード・共役擬似ラベルによるgd理解に向けて
• Authors: Jun-Kun Wang and Andre Wibisono
• Abstract要約: 共役ラベルはテスト時に自己学習するための新しい種類の擬似ラベルである。 正方損失の場合、共役ラベル付きGDはガウスモデルの下でのテスト 0-1 損失を最小限に抑える解に収束することを示す。 その結果、ハードラベルや共役ラベルを用いたGDがテスト時間適応に有効である理由と理由を理解することに光を当てた。
• 参考スコア（独自算出の注目度）: 13.427128424538502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a setting that a model needs to adapt to a new domain under distribution shifts, given that only unlabeled test samples from the new domain are accessible at test time. A common idea in most of the related works is constructing pseudo-labels for the unlabeled test samples and applying gradient descent (GD) to a loss function with the pseudo-labels. Recently, Goyal et al. (2022) propose conjugate labels, which is a new kind of pseudo-labels for self-training at test time. They empirically show that the conjugate label outperforms other ways of pseudo-labeling on many domain adaptation benchmarks. However, provably showing that GD with conjugate labels learns a good classifier for test-time adaptation remains open. In this work, we aim at theoretically understanding GD with hard and conjugate labels for a binary classification problem. We show that for square loss, GD with conjugate labels converges to a solution that minimizes the testing 0-1 loss under a Gaussian model, while GD with hard pseudo-labels fails in this task. We also analyze them under different loss functions for the update. Our results shed lights on understanding when and why GD with hard labels or conjugate labels works in test-time adaptation.
• Abstract（参考訳）: 新しいドメインのラベルのないテストサンプルだけがテスト時にアクセス可能であることを考慮し、分散シフト下でモデルが新しいドメインに適応する必要がある設定を考える。 関連する研究のほとんどで一般的な考え方は、未ラベルテストサンプルのための擬ラベルを構築し、擬ラベルを持つ損失関数に勾配降下(GD)を適用することである。 近年,Goyal et al. (2022) は,テスト時に自己学習を行うための新しい擬似ラベルである共役ラベルを提案する。 彼らは経験的に、共役ラベルが多くのドメイン適応ベンチマークで擬似ラベルの他の方法よりも優れていることを示している。 しかし、共役ラベルを持つgdがテスト時適応のための良い分類器を学習することを示すことは確かである。 本研究では,二項分類問題に対して,GDを硬く共役なラベルで理論的に理解することを目的とする。 正方形損失の場合、共役ラベルを持つgdはガウスモデルの下でテスト0-1の損失を最小化する解に収束するが、ハード擬似ラベルを持つgdはこのタスクでは失敗する。 また、更新のために異なる損失関数の下で分析します。 実験結果から,gdがハードラベルや共役ラベルといつ,なぜテスト時間適応に働くのか,その理解に着目した。

関連論文リスト

• Active Generalized Category Discovery [60.69060965936214]
  GCD(Generalized Category Discovery)は、新しいクラスと古いクラスの未ラベルのサンプルをクラスタ化するための取り組みである。 我々は,能動的学習の精神を取り入れて,能動的一般化カテゴリー発見(AGCD)という新たな設定を提案する。 提案手法は, 汎用および微粒なデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-07T07:12:24Z)
• Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation [18.57840057487926]
  LLP(Learning from Label Proportions)は、トレーニング中にバッグと呼ばれるインスタンスのグループに対して、アグリゲートレベルのラベルしか利用できない学習問題である。 この設定は、プライバシー上の配慮から、広告や医療などの領域で発生する。 本稿では,この問題に対して,反復的に2つの主要なステップを実行する新しいアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T06:09:26Z)
• ScarceNet: Animal Pose Estimation with Scarce Annotations [74.48263583706712]
  ScarceNetは、ラベルのない画像のための人工ラベルを生成するための擬似ラベルベースのアプローチである。 我々は、既存の半教師付きアプローチを大きなマージンで上回る、挑戦的なAP-10Kデータセットに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-03-27T09:15:53Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
  Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-19T10:34:08Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Continuous Soft Pseudo-Labeling in ASR [32.19655911858698]
  連続擬似ラベル(PL)アルゴリズムは,音声認識における半教師あり学習の強力な戦略として登場した。 ソフトラベルのターゲットは、フレーム毎に縮退したトークン分布にモデルを崩壊させることで、トレーニングのばらつきにつながる可能性がある。
  論文  参考訳（メタデータ） (2022-11-11T05:16:18Z)
• Label distribution learning via label correlation grid [9.340734188957727]
  ラベル関係の不確かさをモデル化するための textbfLabel textbfCorrelation textbfGrid (LCG) を提案する。 我々のネットワークはLCGを学習し、各インスタンスのラベル分布を正確に推定する。
  論文  参考訳（メタデータ） (2022-10-15T03:58:15Z)
• Analysis of label noise in graph-based semi-supervised learning [2.4366811507669124]
  機械学習では、目に見えないデータに一般化できるモデルを監督するためにラベルを取得する必要がある。 多くの場合、私たちのデータのほとんどはラベル付けされていない。 半教師付き学習(SSL)は、ラベルと入力データ分布の関係について強い仮定をすることで緩和する。
  論文  参考訳（メタデータ） (2020-09-27T22:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。