論文の概要: Revisiting Consistency Regularization for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2112.05825v1
• Date: Fri, 10 Dec 2021 20:46:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 16:47:36.086235
• Title: Revisiting Consistency Regularization for Semi-Supervised Learning
• Title（参考訳）: 半教師付き学習における一貫性正規化の再検討
• Authors: Yue Fan and Anna Kukleva and Bernt Schiele
• Abstract要約: そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
• 参考スコア（独自算出の注目度）: 80.28461584135967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency regularization is one of the most widely-used techniques for semi-supervised learning (SSL). Generally, the aim is to train a model that is invariant to various data augmentations. In this paper, we revisit this idea and find that enforcing invariance by decreasing distances between features from differently augmented images leads to improved performance. However, encouraging equivariance instead, by increasing the feature distance, further improves performance. To this end, we propose an improved consistency regularization framework by a simple yet effective technique, FeatDistLoss, that imposes consistency and equivariance on the classifier and the feature level, respectively. Experimental results show that our model defines a new state of the art for various datasets and settings and outperforms previous work by a significant margin, particularly in low data regimes. Extensive experiments are conducted to analyze the method, and the code will be published.
• Abstract（参考訳）: 一貫性の正規化は、半教師あり学習(SSL)において最も広く使われている手法の1つである。 一般に、様々なデータ拡張に不変なモデルを訓練することを目的としている。 本稿では,この概念を再検討し,異なる拡張画像から特徴間の距離を小さくすることで不変性が向上することを示す。 しかし、その代わりに、特徴距離を増やすことにより、性能をさらに向上させる。 そこで本研究では,FeatDistLossという単純な手法を用いて,整合性と同値性をそれぞれ分類器と特徴量に課する改良された整合性正規化フレームワークを提案する。 実験結果から,本モデルでは,さまざまなデータセットや設定の新たな状態を定義し,特に低データ環境において,過去の作業を大幅に上回る結果が得られた。 メソッドを分析するために広範囲な実験が行われ、コードが公開されます。

関連論文リスト

• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Contrastively Disentangled Sequential Variational Autoencoder [20.75922928324671]
  本稿では,C-DSVAE(Contrastively Disentangled Sequential Variational Autoencoder)という新しいシーケンス表現学習手法を提案する。 我々は,静的因子と動的因子の相互情報をペナルティ化しながら,入力と潜伏因子の相互情報を最大化する新しいエビデンスローバウンドを用いる。 実験の結果、C-DSVAEは従来の最先端の手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2021-10-22T23:00:32Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。