論文の概要: If your data distribution shifts, use self-learning
- arxiv url: http://arxiv.org/abs/2104.12928v4
- Date: Thu, 7 Dec 2023 17:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 19:27:36.399612
- Title: If your data distribution shifts, use self-learning
- Title（参考訳）: データ分散が変わったら、自己学習を使う
- Authors: Evgenia Rusak, Steffen Schneider, George Pachitariu, Luisa Eck, Peter
Gehler, Oliver Bringmann, Wieland Brendel, Matthias Bethge
- Abstract要約: エントロピーや擬似ラベルのような自己学習技術は、体系的なドメインシフトの下でのコンピュータビジョンモデルの性能向上にシンプルかつ効果的である。
我々は広範囲にわたる大規模な実験を行い、モデルアーキテクチャに関係なく一貫した改善を示す。
- 参考スコア（独自算出の注目度）: 24.23584770840611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate that self-learning techniques like entropy minimization and
pseudo-labeling are simple and effective at improving performance of a deployed
computer vision model under systematic domain shifts. We conduct a wide range
of large-scale experiments and show consistent improvements irrespective of the
model architecture, the pre-training technique or the type of distribution
shift. At the same time, self-learning is simple to use in practice because it
does not require knowledge or access to the original training data or scheme,
is robust to hyperparameter choices, is straight-forward to implement and
requires only a few adaptation epochs. This makes self-learning techniques
highly attractive for any practitioner who applies machine learning algorithms
in the real world. We present state-of-the-art adaptation results on CIFAR10-C
(8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A
(14.8% error), theoretically study the dynamics of self-supervised adaptation
methods and propose a new classification dataset (ImageNet-D) which is
challenging even with adaptation.
- Abstract（参考訳）: エントロピーの最小化や擬似ラベル化といった自己学習技術は,系統的なドメインシフト下でのコンピュータビジョンモデルの性能向上にシンプルかつ効果的であることを示す。
大規模実験を行い,モデルアーキテクチャや事前学習手法,分布シフトの種類に関わらず,一貫した改善を示す。
同時に、自己学習は、知識やオリジナルのトレーニングデータやスキームへのアクセスを必要とせず、ハイパーパラメータの選択に対して堅牢であり、実装に真っ直ぐ前向きであり、いくつかの適応エポックしか必要としないため、実際に使用するのが簡単である。
これにより、現実世界に機械学習アルゴリズムを適用する実践者にとって、自己学習技術は非常に魅力的なものになる。
CIFAR10-C (8.5%エラー), ImageNet-C (22.0% mCE), ImageNet-R (17.4%エラー), ImageNet-A (14.8%エラー), 自己教師付き適応法の力学を理論的に研究し,適応に挑戦する新たな分類データセット(ImageNet-D)を提案する。
関連論文リスト
- Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。
その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
論文 参考訳（メタデータ） (2024-11-19T01:01:56Z) - Efficiency for Free: Ideal Data Are Transportable Representations [12.358393766570732]
最適化と一般化の観点から,データの効率性について検討する。
本稿では,効率的なデータの生成と活用を促進するRepresentation Learning Accelerator (algopt)を提案する。
論文 参考訳（メタデータ） (2024-05-23T15:06:02Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - No Data Augmentation? Alternative Regularizations for Effective Training
on Small Datasets [0.0]
我々は、小さな画像分類データセットにおける教師あり学習の限界を推し進めるために、代替正規化戦略について研究する。
特に,モデルパラメータのノルムを通した最適学習率と重み減衰対の選択に非依存を用いる。
テスト精度は66.5%に達し、最先端の手法に匹敵する。
論文 参考訳（メタデータ） (2023-09-04T16:13:59Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳（メタデータ） (2022-11-17T17:38:55Z) - CoV-TI-Net: Transferred Initialization with Modified End Layer for
COVID-19 Diagnosis [5.546855806629448]
転送学習は比較的新しい学習手法であり、少ない計算で優れた性能を達成するために多くの分野で採用されている。
本研究では,MNISTデータセットにPyTorch事前学習モデル(VGG19_bnとWideResNet -101)を適用した。
提案したモデルはKaggleのノートブックで開発、検証され、計算時間を要さずに99.77%の精度に達した。
論文 参考訳（メタデータ） (2022-09-20T08:52:52Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Selective Output Smoothing Regularization: Regularize Neural Networks by
Softening Output Distributions [5.725228891050467]
畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。
異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。
このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
論文 参考訳（メタデータ） (2021-03-29T07:21:06Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳（メタデータ） (2020-07-13T04:27:25Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。