論文の概要: ScatSimCLR: self-supervised contrastive learning with pretext task
regularization for small-scale datasets
- arxiv url: http://arxiv.org/abs/2108.13939v1
- Date: Tue, 31 Aug 2021 15:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 17:41:10.653789
- Title: ScatSimCLR: self-supervised contrastive learning with pretext task
regularization for small-scale datasets
- Title（参考訳）: scatsimclr: 小規模データセットのためのプリテキストタスク正規化による自己教師付きコントラスト学習
- Authors: Vitaliy Kinakh, Olga Taran, Svyatoslav Voloshynovskiy
- Abstract要約: データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。
同じ分類精度を維持しつつ,システム全体のパラメータ数やビュー数を大幅に削減できると主張している。
- 参考スコア（独自算出の注目度）: 5.2424255020469595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider a problem of self-supervised learning for
small-scale datasets based on contrastive loss between multiple views of the
data, which demonstrates the state-of-the-art performance in classification
task. Despite the reported results, such factors as the complexity of training
requiring complex architectures, the needed number of views produced by data
augmentation, and their impact on the classification accuracy are understudied
problems. To establish the role of these factors, we consider an architecture
of contrastive loss system such as SimCLR, where baseline model is replaced by
geometrically invariant "hand-crafted" network ScatNet with small trainable
adapter network and argue that the number of parameters of the whole system and
the number of views can be considerably reduced while practically preserving
the same classification accuracy. In addition, we investigate the impact of
regularization strategies using pretext task learning based on an estimation of
parameters of augmentation transform such as rotation and jigsaw permutation
for both traditional baseline models and ScatNet based models. Finally, we
demonstrate that the proposed architecture with pretext task learning
regularization achieves the state-of-the-art classification performance with a
smaller number of trainable parameters and with reduced number of views.
- Abstract（参考訳）: 本稿では,データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。
複雑なアーキテクチャを必要とするトレーニングの複雑さ、データ拡張によって生成されるビューの必要な数、そして分類精度への影響といった要因は、未検討の問題である。
これらの要因の役割を確立するために、ベースラインモデルが幾何学的に不変な「手作り」ネットワークのスカトネットに置き換えられるsimclrのようなコントラスト損失システムのアーキテクチャを検討し、システム全体のパラメータ数とビュー数を実質的に同じ分類精度を維持しながら大幅に削減できると主張する。
さらに,従来のベースラインモデルとScatNetモデルの両方に対して,回転やジグソーの置換といった拡張変換のパラメータを推定し,プレテキストタスク学習を用いた正規化戦略の効果を検討する。
最後に,タスク学習規則化を前提とした提案アーキテクチャは,訓練可能なパラメータの数が少なく,ビュー数が少なく,最先端の分類性能を実現することを実証する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。
事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。
SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。
我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文 参考訳（メタデータ） (2024-03-20T09:17:22Z) - Mitigating the Effect of Incidental Correlations on Part-based Learning [50.682498099720114]
部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。
パートベース表現のための2つの革新的な正規化手法を提案する。
我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
論文 参考訳（メタデータ） (2023-09-30T13:44:48Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-22T19:44:57Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - NDPNet: A novel non-linear data projection network for few-shot
fine-grained image classification [33.71025164816078]
本稿では,非線形データ投影の概念を,メートル法に基づくきめ細かい画像分類アーキテクチャの設計に導入する。
提案したアーキテクチャは,任意のエピソードトレーニング機構にスクラッチからエンド・ツー・エンド・トレーニングに簡単に組み込むことができる。
論文 参考訳（メタデータ） (2021-06-13T13:33:09Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳（メタデータ） (2021-02-20T14:57:58Z) - Supervised Contrastive Learning for Pre-trained Language Model
Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。
微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。
提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文 参考訳（メタデータ） (2020-11-03T01:10:39Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。