論文の概要: CNN LEGO: Disassembling and Assembling Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2203.13453v1
• Date: Fri, 25 Mar 2022 05:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:30:52.421074
• Title: CNN LEGO: Disassembling and Assembling Convolutional Neural Network
• Title（参考訳）: CNN LEGO:畳み込みニューラルネットワークの分解と組み立て
• Authors: Jiacong Hu (1), Jing Gao (1), Zunlei Feng (1), Lechao Cheng (2), Jie Lei (3), Hujun Bao (1), Mingli Song (1) ((1) Zhejiang University, (2) Zhejiang Lab, (3) Zhejiang University Of Technology)
• Abstract要約: 人間の視覚知覚機構を模倣する畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョン領域で成功している。 上記の視覚認知機構に着想を得て,MDA-Task(MDA-Task)と呼ばれる新しいタスクについて検討する。 MDA-Taskは、ディープモデルを独立したパーツに分解し、LEGOのおもちゃをプレイするようなパフォーマンスコストを伴わずに、新しいディープモデルに組み立てることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Network (CNN), which mimics human visual perception mechanism, has been successfully used in many computer vision areas. Some psychophysical studies show that the visual perception mechanism synchronously processes the form, color, movement, depth, etc., in the initial stage [7,20] and then integrates all information for final recognition [38]. What's more, the human visual system [20] contains different subdivisions or different tasks. Inspired by the above visual perception mechanism, we investigate a new task, termed as Model Disassembling and Assembling (MDA-Task), which can disassemble the deep models into independent parts and assemble those parts into a new deep model without performance cost like playing LEGO toys. To this end, we propose a feature route attribution technique (FRAT) for disassembling CNN classifiers in this paper. In FRAT, the positive derivatives of predicted class probability w.r.t. the feature maps are adopted to locate the critical features in each layer. Then, relevance analysis between the critical features and preceding/subsequent parameter layers is adopted to bridge the route between two adjacent parameter layers. In the assembling phase, class-wise components of each layer are assembled into a new deep model for a specific task. Extensive experiments demonstrate that the assembled CNN classifier can achieve close accuracy with the original classifier without any fine-tune, and excess original performance with one-epoch fine-tune. What's more, we also conduct massive experiments to verify the broad application of MDA-Task on model decision route visualization, model compression, knowledge distillation, transfer learning, incremental learning, and so on.
• Abstract（参考訳）: 人間の視覚知覚機構を模倣する畳み込みニューラルネットワーク(cnn)は、多くのコンピュータビジョン領域でうまく使われている。 視覚知覚機構は初期[7,20]において形態、色、運動、深さ等を同期的に処理し、最終認識のためにすべての情報を統合する[38]。 さらに、人間の視覚システム[20]には、異なるサブディビジョンや異なるタスクが含まれています。 上記の視覚知覚機構に触発されて,モデル分解・組み立て(MDA-Task)と呼ばれる新しいタスクを探索し,深部モデルを独立したパーツに分解し,LEGO玩具などの演奏コストを伴わずに新たな深部モデルに組み立てる。 そこで本稿では,CNN分類器を分解するための特徴経路帰属手法 (FRAT) を提案する。 FRATでは、予測クラス確率 w.r.t. の特徴写像の正の微分を用いて各層における臨界特徴を特定する。 そして、2つの隣接するパラメータ層間の経路を橋渡しするために、臨界特徴と前/後パラメータ層との関連性解析を採用する。 組み立てフェーズでは、各レイヤのクラス毎のコンポーネントが、特定のタスクのための新しいディープモデルに組み立てられる。 集約的な実験により、組み立てられたCNN分類器は、ファインチューンなしで元の分類器と密接な精度を達成でき、1エポックなファインチューンで過剰なオリジナル性能を達成できることが示された。 さらに,モデル決定経路の可視化,モデル圧縮,知識蒸留,トランスファー学習,インクリメンタル学習などにおけるmda-taskの幅広い応用を検証するために,大規模な実験も行っています。

関連論文リスト

• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
  視覚基盤モデルに基づくアプリケーションが増えている。 システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。 パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
  論文  参考訳（メタデータ） (2023-06-22T03:00:24Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
  モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。 本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2021-09-29T09:50:25Z)
• Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process [15.350366047108103]
  生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。 本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。 理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
  論文  参考訳（メタデータ） (2021-08-25T21:06:20Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。