論文の概要: Adapting ImageNet-scale models to complex distribution shifts with
self-learning
- arxiv url: http://arxiv.org/abs/2104.12928v1
- Date: Tue, 27 Apr 2021 01:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 13:37:14.350588
- Title: Adapting ImageNet-scale models to complex distribution shifts with
self-learning
- Title（参考訳）: 自己学習による複雑な分布シフトへのイメージネットスケールモデルの適用
- Authors: Evgenia Rusak, Steffen Schneider, Peter Gehler, Oliver Bringmann,
Wieland Brendel and Matthias Bethge
- Abstract要約: 堅牢性研究に共通するImageNetスケールデータセットでは,自己学習手法は包括的に評価されていない。
i)教師と学生ネットワーク間の短い更新時間の利用, (ii)ネットワークに分散するアフィンパラメータの微調整, (iii) ラベルノイズの影響に対応するロバスト分類による手法の活用,の3つが自己学習によるパフォーマンス向上に不可欠である。
- 参考スコア（独自算出の注目度）: 31.609531118144528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While self-learning methods are an important component in many recent domain
adaptation techniques, they are not yet comprehensively evaluated on
ImageNet-scale datasets common in robustness research. In extensive experiments
on ResNet and EfficientNet models, we find that three components are crucial
for increasing performance with self-learning: (i) using short update times
between the teacher and the student network, (ii) fine-tuning only few affine
parameters distributed across the network, and (iii) leveraging methods from
robust classification to counteract the effect of label noise. We use these
insights to obtain drastically improved state-of-the-art results on ImageNet-C
(22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error). Our
techniques yield further improvements in combination with previously proposed
robustification methods. Self-learning is able to reduce the top-1 error to a
point where no substantial further progress can be expected. We therefore
re-purpose the dataset from the Visual Domain Adaptation Challenge 2019 and use
a subset of it as a new robustness benchmark (ImageNet-D) which proves to be a
more challenging dataset for all current state-of-the-art models (58.2% error)
to guide future research efforts at the intersection of robustness and domain
adaptation on ImageNet scale.
- Abstract（参考訳）: 近年のドメイン適応技術では,自己学習が重要な要素となっているが,堅牢性研究に共通するイメージネットスケールデータセットでは,まだ包括的に評価されていない。
ResNetとEfficientNetモデルに関する広範な実験では,教師と学生のネットワーク間の短い更新時間,ネットワークに分散する少数のアフィンパラメータの微調整,ロバストな分類からの手法を活用したラベルノイズ対策の3つのコンポーネントが,自己学習によるパフォーマンス向上に不可欠であることが判明した。
これらの知見を用いて、ImageNet-C (22.0% mCE)、ImageNet-R (17.4%エラー)、ImageNet-A (14.8%エラー)の大幅な改善結果を得る。
提案手法は, 提案するロバスト化手法と組み合わせることで, さらなる改善をもたらす。
自己学習は、トップ1エラーを、それ以上の進歩が期待できないポイントまで減らすことができる。
そこで私たちは、Visual Domain Adaptation Challenge 2019からデータセットを再使用し、そのサブセットを新しい堅牢性ベンチマーク(ImageNet-D)として使用しています。
関連論文リスト
- Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。
その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
論文 参考訳（メタデータ） (2024-11-19T01:01:56Z) - Efficiency for Free: Ideal Data Are Transportable Representations [12.358393766570732]
最適化と一般化の観点から,データの効率性について検討する。
本稿では,効率的なデータの生成と活用を促進するRepresentation Learning Accelerator (algopt)を提案する。
論文 参考訳（メタデータ） (2024-05-23T15:06:02Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - No Data Augmentation? Alternative Regularizations for Effective Training
on Small Datasets [0.0]
我々は、小さな画像分類データセットにおける教師あり学習の限界を推し進めるために、代替正規化戦略について研究する。
特に,モデルパラメータのノルムを通した最適学習率と重み減衰対の選択に非依存を用いる。
テスト精度は66.5%に達し、最先端の手法に匹敵する。
論文 参考訳（メタデータ） (2023-09-04T16:13:59Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳（メタデータ） (2022-11-17T17:38:55Z) - CoV-TI-Net: Transferred Initialization with Modified End Layer for
COVID-19 Diagnosis [5.546855806629448]
転送学習は比較的新しい学習手法であり、少ない計算で優れた性能を達成するために多くの分野で採用されている。
本研究では,MNISTデータセットにPyTorch事前学習モデル(VGG19_bnとWideResNet -101)を適用した。
提案したモデルはKaggleのノートブックで開発、検証され、計算時間を要さずに99.77%の精度に達した。
論文 参考訳（メタデータ） (2022-09-20T08:52:52Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Selective Output Smoothing Regularization: Regularize Neural Networks by
Softening Output Distributions [5.725228891050467]
畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。
異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。
このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
論文 参考訳（メタデータ） (2021-03-29T07:21:06Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳（メタデータ） (2020-07-13T04:27:25Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。