論文の概要: Neural Network Module Decomposition and Recomposition
- arxiv url: http://arxiv.org/abs/2112.13208v1
- Date: Sat, 25 Dec 2021 08:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 16:29:07.461825
- Title: Neural Network Module Decomposition and Recomposition
- Title(参考訳): ニューラルネットワークモジュールの分解と再分解
- Authors: Hiroaki Kingetsu, Kenichi Kobayashi, Taiji Suzuki
- Abstract要約: 本稿では,機能の観点から,ディープニューラルネットワーク(DNN)を小さなモジュールに分解するモジュール化手法を提案する。
提案手法は,DNNを高い圧縮比と高精度で分解・分解できることを実証する。
- 参考スコア(独自算出の注目度): 35.21448933547118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a modularization method that decomposes a deep neural network
(DNN) into small modules from a functionality perspective and recomposes them
into a new model for some other task. Decomposed modules are expected to have
the advantages of interpretability and verifiability due to their small size.
In contrast to existing studies based on reusing models that involve
retraining, such as a transfer learning model, the proposed method does not
require retraining and has wide applicability as it can be easily combined with
existing functional modules. The proposed method extracts modules using weight
masks and can be applied to arbitrary DNNs. Unlike existing studies, it
requires no assumption about the network architecture. To extract modules, we
designed a learning method and a loss function to maximize shared weights among
modules. As a result, the extracted modules can be recomposed without a large
increase in the size. We demonstrate that the proposed method can decompose and
recompose DNNs with high compression ratio and high accuracy and is superior to
the existing method through sharing weights between modules.
- Abstract(参考訳): 本稿では,DNN(Deep Neural Network)を機能の観点から小さなモジュールに分解し,他のタスクのために新しいモデルに再構成するモジュール化手法を提案する。
分解されたモジュールは、小さなサイズのため、解釈可能性と検証可能性の利点が期待できる。
移動学習モデルのような再学習を伴う再利用モデルに基づく既存研究とは対照的に,提案手法は再訓練を必要としないため,既存の機能モジュールと容易に組み合わせることができる。
提案手法は重みマスクを用いてモジュールを抽出し,任意のDNNに適用できる。
既存の研究とは異なり、ネットワークアーキテクチャに関する仮定は必要ない。
モジュールを抽出するために,モジュール間の共有重みを最大化する学習法と損失関数を設計した。
その結果,抽出したモジュールはサイズが大きく増大することなく再分解できることがわかった。
提案手法は,高い圧縮率と高い精度でdnnを分解・再構成でき,モジュール間の重みの共有により既存の手法よりも優れていることを示す。
関連論文リスト
- m2mKD: Module-to-Module Knowledge Distillation for Modular Transformers [28.928438642661934]
本稿では,モジュール間の知識伝達のための一般モジュール間知識蒸留法(m2mKD)を提案する。
ニューラルネットワーク(NAC)とVision Mixture-of-Experts(V-MoE)の2つの異なるモジュール型ニューラルネットワークに対するm2mKDの有効性を評価する。
論文 参考訳(メタデータ) (2024-02-26T04:47:32Z) - GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and
reusing ModulEs [64.49176353858792]
本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。
提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。
いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
論文 参考訳(メタデータ) (2023-11-08T18:59:05Z) - Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する
規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。
そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
論文 参考訳(メタデータ) (2023-10-06T19:24:00Z) - Modularizing while Training: A New Paradigm for Modularizing DNN Models [20.892788625187702]
モデルトレーニングプロセス,すなわちモジュール化時トレーニング(MwT)にモジュール化を取り入れた新しいアプローチを提案する。
MwTによる精度損失は1.13ポイントであり、ベースラインよりも1.76ポイント少ない。
トレーニングとモジュール化に必要な総時間費用は,ベースラインの半分の108分に過ぎません。
論文 参考訳(メタデータ) (2023-06-15T07:45:43Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:57Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - Are Neural Nets Modular? Inspecting Functional Modularity Through
Differentiable Weight Masks [10.0444013205203]
NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。
しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
論文 参考訳(メタデータ) (2020-10-05T15:04:11Z) - Accurate and Lightweight Image Super-Resolution with Model-Guided Deep
Unfolding Network [63.69237156340457]
我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。
MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。
RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
論文 参考訳(メタデータ) (2020-09-14T08:23:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。