論文の概要: CNN LEGO: Disassembling and Assembling Convolutional Neural Network
- arxiv url: http://arxiv.org/abs/2203.13453v1
- Date: Fri, 25 Mar 2022 05:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 13:30:52.421074
- Title: CNN LEGO: Disassembling and Assembling Convolutional Neural Network
- Title(参考訳): CNN LEGO:畳み込みニューラルネットワークの分解と組み立て
- Authors: Jiacong Hu (1), Jing Gao (1), Zunlei Feng (1), Lechao Cheng (2), Jie
Lei (3), Hujun Bao (1), Mingli Song (1) ((1) Zhejiang University, (2)
Zhejiang Lab, (3) Zhejiang University Of Technology)
- Abstract要約: 人間の視覚知覚機構を模倣する畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョン領域で成功している。
上記の視覚認知機構に着想を得て,MDA-Task(MDA-Task)と呼ばれる新しいタスクについて検討する。
MDA-Taskは、ディープモデルを独立したパーツに分解し、LEGOのおもちゃをプレイするようなパフォーマンスコストを伴わずに、新しいディープモデルに組み立てることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Network (CNN), which mimics human visual perception
mechanism, has been successfully used in many computer vision areas. Some
psychophysical studies show that the visual perception mechanism synchronously
processes the form, color, movement, depth, etc., in the initial stage [7,20]
and then integrates all information for final recognition [38]. What's more,
the human visual system [20] contains different subdivisions or different
tasks. Inspired by the above visual perception mechanism, we investigate a new
task, termed as Model Disassembling and Assembling (MDA-Task), which can
disassemble the deep models into independent parts and assemble those parts
into a new deep model without performance cost like playing LEGO toys. To this
end, we propose a feature route attribution technique (FRAT) for disassembling
CNN classifiers in this paper. In FRAT, the positive derivatives of predicted
class probability w.r.t. the feature maps are adopted to locate the critical
features in each layer. Then, relevance analysis between the critical features
and preceding/subsequent parameter layers is adopted to bridge the route
between two adjacent parameter layers. In the assembling phase, class-wise
components of each layer are assembled into a new deep model for a specific
task. Extensive experiments demonstrate that the assembled CNN classifier can
achieve close accuracy with the original classifier without any fine-tune, and
excess original performance with one-epoch fine-tune. What's more, we also
conduct massive experiments to verify the broad application of MDA-Task on
model decision route visualization, model compression, knowledge distillation,
transfer learning, incremental learning, and so on.
- Abstract(参考訳): 人間の視覚知覚機構を模倣する畳み込みニューラルネットワーク(cnn)は、多くのコンピュータビジョン領域でうまく使われている。
視覚知覚機構は初期[7,20]において形態、色、運動、深さ等を同期的に処理し、最終認識のためにすべての情報を統合する[38]。
さらに、人間の視覚システム[20]には、異なるサブディビジョンや異なるタスクが含まれています。
上記の視覚知覚機構に触発されて,モデル分解・組み立て(MDA-Task)と呼ばれる新しいタスクを探索し,深部モデルを独立したパーツに分解し,LEGO玩具などの演奏コストを伴わずに新たな深部モデルに組み立てる。
そこで本稿では,CNN分類器を分解するための特徴経路帰属手法 (FRAT) を提案する。
FRATでは、予測クラス確率 w.r.t. の特徴写像の正の微分を用いて各層における臨界特徴を特定する。
そして、2つの隣接するパラメータ層間の経路を橋渡しするために、臨界特徴と前/後パラメータ層との関連性解析を採用する。
組み立てフェーズでは、各レイヤのクラス毎のコンポーネントが、特定のタスクのための新しいディープモデルに組み立てられる。
集約的な実験により、組み立てられたCNN分類器は、ファインチューンなしで元の分類器と密接な精度を達成でき、1エポックなファインチューンで過剰なオリジナル性能を達成できることが示された。
さらに,モデル決定経路の可視化,モデル圧縮,知識蒸留,トランスファー学習,インクリメンタル学習などにおけるmda-taskの幅広い応用を検証するために,大規模な実験も行っています。
関連論文リスト
- Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - CAManim: Animating end-to-end network activation maps [0.2509487459755192]
本稿では,CNN予測に対するエンドユーザの理解の拡大と集中を目的とした,CAManimという新しいXAI可視化手法を提案する。
また,Remove and Debias(ROAD)尺度に基づいて,新たな定量的評価法を提案する。
これは、解釈可能で堅牢で透明なモデルアセスメント方法論に対する需要の増加に対応するために、先行研究に基づいている。
論文 参考訳(メタデータ) (2023-12-19T01:07:36Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Leveraging Systematic Knowledge of 2D Transformations [6.527658701826699]
人間は、たとえ画像のシーンが珍しいとしても、画像を解釈する素晴らしい能力を持っている。
本研究は,1)2次元変換の体系的知識の獲得,2)画像分類タスクにおける学習知識を活用可能なアーキテクチャコンポーネントに焦点を当てる。
論文 参考訳(メタデータ) (2022-06-02T06:46:12Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳(メタデータ) (2022-02-24T01:31:29Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Do Vision Transformers See Like Convolutional Neural Networks? [45.69780772718875]
近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。
畳み込みネットワークのように振る舞うのか、それとも全く異なる視覚表現を学ぶのか?
例えば、ViTはすべての層にわたってより均一な表現を持つ。
論文 参考訳(メタデータ) (2021-08-19T17:27:03Z) - Deep Features for training Support Vector Machine [16.795405355504077]
本稿では,訓練済みcnnから抽出した特徴に基づく汎用コンピュータビジョンシステムを開発した。
複数の学習特徴を単一の構造に組み合わせ、異なる画像分類タスクに取り組んでいます。
論文 参考訳(メタデータ) (2021-04-08T03:13:09Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z) - Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。
提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
論文 参考訳(メタデータ) (2020-08-01T17:14:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。