論文の概要: Dynamic Channel Selection in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2207.12065v1
• Date: Mon, 25 Jul 2022 11:18:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:53:35.419026
• Title: Dynamic Channel Selection in Self-Supervised Learning
• Title（参考訳）: 自己監督型学習における動的チャネル選択
• Authors: Tarun Krishna, Ayush K. Rai, Yasser A. D. Djilali, Alan F. Smeaton, Kevin McGuinness and Noel E. O'Connor
• Abstract要約: 本研究では,教師付き学習のための標準チャネル選択手法を,自己監督型学習ネットワークに適用する方法について検討する。 本研究は,様々なデータセットを対象とした画像分類タスクにおけるチャネル計算のために,目標予算の$t_d$に対して検証を行った。
• 参考スコア（独自算出の注目度）: 14.47016190403488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whilst computer vision models built using self-supervised approaches are now commonplace, some important questions remain. Do self-supervised models learn highly redundant channel features? What if a self-supervised network could dynamically select the important channels and get rid of the unnecessary ones? Currently, convnets pre-trained with self-supervision have obtained comparable performance on downstream tasks in comparison to their supervised counterparts in computer vision. However, there are drawbacks to self-supervised models including their large numbers of parameters, computationally expensive training strategies and a clear need for faster inference on downstream tasks. In this work, our goal is to address the latter by studying how a standard channel selection method developed for supervised learning can be applied to networks trained with self-supervision. We validate our findings on a range of target budgets $t_{d}$ for channel computation on image classification task across different datasets, specifically CIFAR-10, CIFAR-100, and ImageNet-100, obtaining comparable performance to that of the original network when selecting all channels but at a significant reduction in computation reported in terms of FLOPs.
• Abstract（参考訳）: 自己教師付きアプローチで構築されたコンピュータビジョンモデルは今や一般的だが、いくつかの重要な疑問が残っている。 自己教師型モデルは高度に冗長なチャネル機能を学ぶか? 自己管理ネットワークが重要なチャネルを動的に選択し、不要なチャネルを排除できるとしたらどうだろう? 現在、セルフスーパービジョンで事前訓練されたconvnetは、コンピュータビジョンで監視されたものと同等の性能を下流タスクで獲得している。 しかし、大量のパラメータ、計算に高価なトレーニング戦略、下流タスクにおける高速な推論の必要性など、自己教師型モデルには欠点がある。 本研究の目的は,教師付き学習のための標準チャネル選択手法が,自己監督型ネットワークにどのように適用できるかを検討することである。 我々は,様々なデータセット(特にCIFAR-10, CIFAR-100, ImageNet-100)にわたる画像分類タスクのチャネル計算に対して,目標予算$t_{d}$に対して,全てのチャネルを選択する際に元のネットワークに匹敵する性能を得るが,FLOPで報告される計算の大幅な削減を図った。

関連論文リスト

• Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
  まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。 その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
  論文  参考訳（メタデータ） (2024-11-19T01:01:56Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)
• Pruning Convolutional Neural Networks with Self-Supervision [45.450089182626044]
  ラベルのない学習ネットワークにおいて,主に教師あり学習のために開発された標準的なプルーニング手法について検討する。 ラベルで再トレーニングした際,ラベルの有無に関わらず得られたプルーニングマスクは同等の性能を示した。 興味深いことに、プルーニングは自己教師付きサブネットワーク表現の転送性能を保っている。
  論文  参考訳（メタデータ） (2020-01-10T16:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。