論文の概要: CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture
- arxiv url: http://arxiv.org/abs/2408.07514v1
- Date: Wed, 14 Aug 2024 12:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 13:24:15.166144
- Title: CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture
- Title（参考訳）: CNN-JEPA:共同埋め込み予測アーキテクチャを用いた自己教師付き畳み込みニューラルネットワーク
- Authors: András Kalapos, Bálint Gyires-Tóth,
- Abstract要約: 自己教師付き学習(SSL)は、大規模なニューラルネットワークの事前トレーニングにおいて重要なアプローチとなっている。
本稿では,CNNに組込み予測アーキテクチャを適用可能な新しいSSL方式であるCNN-JEPAを紹介する。
本手法では,マスク入力を処理するためのスパースCNNエンコーダ,奥行き分離可能な畳み込みを用いた完全畳み込み予測器,マスキング戦略の改善を取り入れた。
- 参考スコア（独自算出の注目度）: 5.0337106694127725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) has become an important approach in pretraining large neural networks, enabling unprecedented scaling of model and dataset sizes. While recent advances like I-JEPA have shown promising results for Vision Transformers, adapting such methods to Convolutional Neural Networks (CNNs) presents unique challenges. In this paper, we introduce CNN-JEPA, a novel SSL method that successfully applies the joint embedding predictive architecture approach to CNNs. Our method incorporates a sparse CNN encoder to handle masked inputs, a fully convolutional predictor using depthwise separable convolutions, and an improved masking strategy. We demonstrate that CNN-JEPA outperforms I-JEPA with ViT architectures on ImageNet-100, achieving 73.3% linear top-1 accuracy with a standard ResNet-50 encoder. Compared to other CNN-based SSL methods, CNN-JEPA requires 17-35% less training time for the same number of epochs and approaches the linear and k-NN top-1 accuracies of BYOL, SimCLR, and VICReg. Our approach offers a simpler, more efficient alternative to existing SSL methods for CNNs, requiring minimal augmentations and no separate projector network.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、大規模なニューラルネットワークの事前トレーニングにおいて重要なアプローチとなり、モデルとデータセットサイズの前例のないスケーリングを可能にした。
I-JEPAのような最近の進歩はビジョントランスフォーマーに有望な結果を示しており、このような手法を畳み込みニューラルネットワーク(CNN)に適用することは、ユニークな課題を提示している。
本稿では,CNNに組込み予測アーキテクチャを適用可能な新しいSSL方式であるCNN-JEPAを紹介する。
本手法では,マスク入力を処理するためのスパースCNNエンコーダ,奥行き分離可能な畳み込みを用いた完全畳み込み予測器,マスキング戦略の改善を取り入れた。
CNN-JEPA は ImageNet-100 上の ViT アーキテクチャで I-JEPA より優れており,標準の ResNet-50 エンコーダで 73.3% の線形トップ-1 精度を実現している。
他のCNNベースのSSLメソッドと比較して、CNN-JEPAは同じ数のエポックに対して17～35%のトレーニング時間を必要とし、BYOL、SimCLR、VICRegの線形およびk-NNトップ-1アキュラシーにアプローチする。
当社のアプローチは,CNNの既存のSSLメソッドに対して,よりシンプルで効率的な代替手段を提供するもので,最小限の拡張とプロジェクタネットワークの分離を必要としない。
関連論文リスト
- Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。
モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文 参考訳（メタデータ） (2024-08-26T17:35:01Z) - OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳（メタデータ） (2024-03-21T14:06:38Z) - An Efficient Evolutionary Deep Learning Framework Based on Multi-source
Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。
計算コストは依然としてCNNを自動設計するボトルネックである。
本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-07T20:22:58Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳（メタデータ） (2022-11-10T18:59:04Z) - Towards Enabling Dynamic Convolution Neural Network Inference for Edge
Intelligence [0.0]
エッジインテリジェンスの最近の進歩は、スループットを高め、レイテンシを低減するために、エッジネットワーク上のCNN推論を必要とする。
柔軟性を得るためには、さまざまなモバイルデバイスに対する動的パラメータ割り当ては、事前に定義されたか、オンザフライで定義されたCNNアーキテクチャを実装する必要がある。
本稿では,スケーラブルで動的に分散したCNN推論を高速に設計するためのライブラリベースのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:33:42Z) - Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command
Recognition [9.262289183808035]
本研究の目的は,低複雑性音声コマンド認識(SCR)システムの設計である。
我々は、テンソルトレイン(TT)ネットワークの深いハイブリッドアーキテクチャを利用して、エンドツーエンドのSRCパイプラインを構築する。
提案したCNN+(TT-DNN)モデルでは,CNNモデルより4倍少ないモデルパラメータで96.31%の競争精度が得られる。
論文 参考訳（メタデータ） (2022-01-11T05:57:38Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - Transformed CNNs: recasting pre-trained convolutional layers with
self-attention [17.96659165573821]
視覚変換器(ViT)は、畳み込みネットワーク(CNN)の強力な代替手段として登場した。
本研究では、これらレイヤを畳み込み層として初期化することによって、これらのレイヤのトレーニングに要する時間を短縮するアイデアについて検討する。
微調整は50回しか行われず、結果として得られたT-CNNの性能は著しく向上した。
論文 参考訳（メタデータ） (2021-06-10T14:56:10Z) - Container: Context Aggregation Network [83.12004501984043]
最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。
マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。
より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
論文 参考訳（メタデータ） (2021-06-02T18:09:11Z) - Exploring Deep Hybrid Tensor-to-Vector Network Architectures for
Regression Based Speech Enhancement [53.47564132861866]
我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。
CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
論文 参考訳（メタデータ） (2020-07-25T22:21:05Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。