論文の概要: Neural Network Module Decomposition and Recomposition

• arxiv url: http://arxiv.org/abs/2112.13208v1
• Date: Sat, 25 Dec 2021 08:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 16:29:07.461825
• Title: Neural Network Module Decomposition and Recomposition
• Title（参考訳）: ニューラルネットワークモジュールの分解と再分解
• Authors: Hiroaki Kingetsu, Kenichi Kobayashi, Taiji Suzuki
• Abstract要約: 本稿では,機能の観点から,ディープニューラルネットワーク(DNN)を小さなモジュールに分解するモジュール化手法を提案する。 提案手法は,DNNを高い圧縮比と高精度で分解・分解できることを実証する。
• 参考スコア（独自算出の注目度）: 35.21448933547118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a modularization method that decomposes a deep neural network (DNN) into small modules from a functionality perspective and recomposes them into a new model for some other task. Decomposed modules are expected to have the advantages of interpretability and verifiability due to their small size. In contrast to existing studies based on reusing models that involve retraining, such as a transfer learning model, the proposed method does not require retraining and has wide applicability as it can be easily combined with existing functional modules. The proposed method extracts modules using weight masks and can be applied to arbitrary DNNs. Unlike existing studies, it requires no assumption about the network architecture. To extract modules, we designed a learning method and a loss function to maximize shared weights among modules. As a result, the extracted modules can be recomposed without a large increase in the size. We demonstrate that the proposed method can decompose and recompose DNNs with high compression ratio and high accuracy and is superior to the existing method through sharing weights between modules.
• Abstract（参考訳）: 本稿では,DNN(Deep Neural Network)を機能の観点から小さなモジュールに分解し,他のタスクのために新しいモデルに再構成するモジュール化手法を提案する。 分解されたモジュールは、小さなサイズのため、解釈可能性と検証可能性の利点が期待できる。 移動学習モデルのような再学習を伴う再利用モデルに基づく既存研究とは対照的に,提案手法は再訓練を必要としないため,既存の機能モジュールと容易に組み合わせることができる。 提案手法は重みマスクを用いてモジュールを抽出し,任意のDNNに適用できる。 既存の研究とは異なり、ネットワークアーキテクチャに関する仮定は必要ない。 モジュールを抽出するために,モジュール間の共有重みを最大化する学習法と損失関数を設計した。 その結果,抽出したモジュールはサイズが大きく増大することなく再分解できることがわかった。 提案手法は,高い圧縮率と高い精度でdnnを分解・再構成でき,モジュール間の重みの共有により既存の手法よりも優れていることを示す。

関連論文リスト

• Train Faster, Perform Better: Modular Adaptive Training in Over-Parameterized Models [31.960749305728488]
  モジュラーニューラルタンジェントカーネル(mNTK)と呼ばれる新しい概念を導入する。 モジュールの学習の質が mNTK の主固有値 $lambda_max$ と密接に関連していることを示す。 動的しきい値を超えたlambda_max$でこれらのモジュールを更新するための,MAT(Modular Adaptive Training)と呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-13T07:46:48Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs [64.49176353858792]
  本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。 提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。 いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
  論文  参考訳（メタデータ） (2023-11-08T18:59:05Z)
• Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
  マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する 規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。 そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:24:00Z)
• Modularizing while Training: A New Paradigm for Modularizing DNN Models [20.892788625187702]
  モデルトレーニングプロセス,すなわちモジュール化時トレーニング(MwT)にモジュール化を取り入れた新しいアプローチを提案する。 MwTによる精度損失は1.13ポイントであり、ベースラインよりも1.76ポイント少ない。 トレーニングとモジュール化に必要な総時間費用は,ベースラインの半分の108分に過ぎません。
  論文  参考訳（メタデータ） (2023-06-15T07:45:43Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。