論文の概要: Learning Less Generalizable Patterns with an Asymmetrically Trained
Double Classifier for Better Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2210.09834v1
- Date: Mon, 17 Oct 2022 08:05:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 13:12:46.909687
- Title: Learning Less Generalizable Patterns with an Asymmetrically Trained
Double Classifier for Better Test-Time Adaptation
- Title（参考訳）: テスト時間適応性向上のための非対称学習型二重分類器による非一般化パターンの学習
- Authors: Thomas Duboudin (imagine), Emmanuel Dellandr\'ea, Corentin Abgrall,
Gilles H\'enaff, Liming Chen
- Abstract要約: 本稿では,一対の分類器とショートカットパターンによる回避損失を用いた新しい手法を提案する。
本手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効である。
- 参考スコア（独自算出の注目度）: 4.893694715581673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks often fail to generalize outside of their training
distribution, in particular when only a single data domain is available during
training. While test-time adaptation has yielded encouraging results in this
setting, we argue that, to reach further improvements, these approaches should
be combined with training procedure modifications aiming to learn a more
diverse set of patterns. Indeed, test-time adaptation methods usually have to
rely on a limited representation because of the shortcut learning phenomenon:
only a subset of the available predictive patterns is learned with standard
training. In this paper, we first show that the combined use of existing
training-time strategies, and test-time batch normalization, a simple
adaptation method, does not always improve upon the test-time adaptation alone
on the PACS benchmark. Furthermore, experiments on Office-Home show that very
few training-time methods improve upon standard training, with or without
test-time batch normalization. We therefore propose a novel approach using a
pair of classifiers and a shortcut patterns avoidance loss that mitigates the
shortcut learning behavior by reducing the generalization ability of the
secondary classifier, using the additional shortcut patterns avoidance loss
that encourages the learning of samples specific patterns. The primary
classifier is trained normally, resulting in the learning of both the natural
and the more complex, less generalizable, features. Our experiments show that
our method improves upon the state-of-the-art results on both benchmarks and
benefits the most to test-time batch normalization.
- Abstract（参考訳）: 深層ニューラルネットワークは、特にトレーニング中に単一のデータドメインしか利用できない場合、トレーニング分布の外では一般化できないことが多い。
テスト時間適応は、この設定で奨励的な結果をもたらすが、さらなる改善を達成するためには、これらのアプローチは、より多様なパターンのセットを学ぶことを目的としたトレーニング手順修正と組み合わせるべきである。
実際、テスト時間適応法は通常、ショートカット学習現象のために限られた表現に頼る必要があり、利用可能な予測パターンのサブセットは標準訓練で学習される。
本稿ではまず,既存のトレーニング時間戦略と単純な適応法であるテスト時間バッチ正規化の組み合わせが,pacsベンチマーク上でのみテスト時間適応を常に改善するとは限らないことを示す。
さらに、office-homeの実験では、テスト時のバッチ正規化の有無に関わらず、標準トレーニングによって改善されるトレーニングタイムメソッドがごくわずかであることが示されている。
そこで本研究では,一対の分類器と一対のショートカットパターン回避損失を用いて,二次分類器の一般化能力の低下によるショートカット学習行動の軽減を図り,サンプル固有のパターンの学習を促進するショートカットパターン回避損失を新たに導入する。
一次分類器は普通に訓練され、自然とより複雑で一般化しにくい特徴の両方を学習する。
提案手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効であることを示す。
関連論文リスト
- Stability and Generalization in Free Adversarial Training [9.831489366502302]
本稿では,アルゴリズム的安定性フレームワークを用いた対向学習手法の一般化性能について検討する。
証明された一般化境界は, 自由対数学習法が, トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示している。
論文 参考訳（メタデータ） (2024-04-13T12:07:20Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - United We Stand: Using Epoch-wise Agreement of Ensembles to Combat
Overfit [7.627299398469962]
オーバーフィッティングを効果的に克服するディープネットワークのための新しいアンサンブル分類器を提案する。
本手法は, 汎用性能の劣化を伴わずに, オーバーフィッティング段階で得られた有用な知識を組み込むことが可能である。
私たちの方法は実装が容易で、どんなトレーニングスキームやアーキテクチャにも統合できます。
論文 参考訳（メタデータ） (2023-10-17T08:51:44Z) - Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳（メタデータ） (2023-10-06T00:52:48Z) - Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language
Models [107.05966685291067]
テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。
TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。
クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
論文 参考訳（メタデータ） (2022-09-15T17:55:11Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-10T12:29:01Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Unified Regularity Measures for Sample-wise Learning and Generalization [18.10522585996242]
本稿では,定式化整合表現を用いた2つのプロセスのサンプル正則度尺度を提案する。
ミニバッチSGD最適化のための提案手法の有効性とロバスト性を検証する実験を行った。
論文 参考訳（メタデータ） (2021-08-09T10:11:14Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。