論文の概要: Revisiting the Critical Factors of Augmentation-Invariant Representation
Learning
- arxiv url: http://arxiv.org/abs/2208.00275v1
- Date: Sat, 30 Jul 2022 17:07:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:13:36.334696
- Title: Revisiting the Critical Factors of Augmentation-Invariant Representation
Learning
- Title(参考訳): 拡張不変表現学習の重要因子の再検討
- Authors: Junqiang Huang, Xiangwen Kong, Xiangyu Zhang
- Abstract要約: 我々は、MoCo v2とBYOLを再検討し、次の仮定の真正性を証明する。
我々は,MoCo v2とBYOLの公正比較のための最初のベンチマークを構築した。
- 参考スコア(独自算出の注目度): 8.28445083127418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We focus on better understanding the critical factors of
augmentation-invariant representation learning. We revisit MoCo v2 and BYOL and
try to prove the authenticity of the following assumption: different frameworks
bring about representations of different characteristics even with the same
pretext task. We establish the first benchmark for fair comparisons between
MoCo v2 and BYOL, and observe: (i) sophisticated model configurations enable
better adaptation to pre-training dataset; (ii) mismatched optimization
strategies of pre-training and fine-tuning hinder model from achieving
competitive transfer performances. Given the fair benchmark, we make further
investigation and find asymmetry of network structure endows contrastive
frameworks to work well under the linear evaluation protocol, while may hurt
the transfer performances on long-tailed classification tasks. Moreover,
negative samples do not make models more sensible to the choice of data
augmentations, nor does the asymmetric network structure. We believe our
findings provide useful information for future work.
- Abstract(参考訳): 拡張不変表現学習の重要な要素をよりよく理解することに注力する。
moco v2とbyolを再検討し、以下の仮定の真正性を証明する。 異なるフレームワークは、同じプリテキストタスクでも異なる特性の表現をもたらします。
MoCo v2とBYOLの公正比較のための最初のベンチマークを作成し、以下の結果を得た。
(i)高度なモデル構成により、データセットの事前学習への適応性が向上する。
(ii)事前学習と微調整モデルによる競争伝達性能の達成における不整合最適化戦略
公平なベンチマークを前提に,ネットワーク構造の非対称性を更に調査し,線形評価プロトコルの下でうまく機能するように比較フレームワークを内在させるとともに,ロングテール分類タスクの転送性能を損なう可能性がある。
さらに、負のサンプルはデータ拡張の選択により敏感なモデルや非対称なネットワーク構造をもたらさない。
我々の発見は将来の研究に有用な情報をもたらすと信じている。
関連論文リスト
- Local Consensus Enhanced Siamese Network with Reciprocal Loss for
Two-view Correspondence Learning [35.5851523517487]
2視点対応学習は通常、一致の信頼性と相対的なポーズを共同で予測するエンドツーエンドネットワークを確立する。
本稿では,既存のモデルの特徴を増強するローカル・フィーチャー・コンセンサス (LFC) プラグイン・ブロックを提案する。
我々は既存のモデルを相互予測の監督を生かした相互損失を伴うシームズネットワークに拡張する。
論文 参考訳(メタデータ) (2023-08-06T22:20:09Z) - On the Trade-off of Intra-/Inter-class Diversity for Supervised
Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。
トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文 参考訳(メタデータ) (2023-05-20T16:23:50Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Relational Self-Supervised Learning [84.08307840814044]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-03-16T16:14:19Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - An Optimization-Based Meta-Learning Model for MRI Reconstruction with
Diverse Dataset [4.9259403018534496]
メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。
提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。
メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
論文 参考訳(メタデータ) (2021-10-02T03:21:52Z) - Mean Embeddings with Test-Time Data Augmentation for Ensembling of
Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。
MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。
我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文 参考訳(メタデータ) (2021-06-15T10:49:46Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Supervised Contrastive Learning for Pre-trained Language Model
Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。
微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。
提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文 参考訳(メタデータ) (2020-11-03T01:10:39Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-16T18:39:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。