論文の概要: Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks

• arxiv url: http://arxiv.org/abs/2203.13453v2
• Date: Thu, 31 Oct 2024 08:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:46.973474
• Title: Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks
• Title（参考訳）: Model LEGO: ビルディングブロックの分解や組み立てのようなモデルを作る
• Authors: Jiacong Hu, Jing Gao, Jingwen Ye, Yang Gao, Xingen Wang, Zunlei Feng, Mingli Song,
• Abstract要約: 本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 53.09649785009528
• License:
• Abstract: With the rapid development of deep learning, the increasing complexity and scale of parameters make training a new model increasingly resource-intensive. In this paper, we start from the classic convolutional neural network (CNN) and explore a paradigm that does not require training to obtain new models. Similar to the birth of CNN inspired by receptive fields in the biological visual system, we draw inspiration from the information subsystem pathways in the biological visual system and propose Model Disassembling and Assembling (MDA). During model disassembling, we introduce the concept of relative contribution and propose a component locating technique to extract task-aware components from trained CNN classifiers. For model assembling, we present the alignment padding strategy and parameter scaling strategy to construct a new model tailored for a specific task, utilizing the disassembled task-aware components. The entire process is akin to playing with LEGO bricks, enabling arbitrary assembly of new models, and providing a novel perspective for model creation and reuse. Extensive experiments showcase that task-aware components disassembled from CNN classifiers or new models assembled using these components closely match or even surpass the performance of the baseline, demonstrating its promising results for model reuse. Furthermore, MDA exhibits diverse potential applications, with comprehensive experiments exploring model decision route analysis, model compression, knowledge distillation, and more. The code is available at https://github.com/jiaconghu/Model-LEGO.
• Abstract（参考訳）: ディープラーニングの急速な発展に伴い、複雑化とパラメータのスケールの増大により、トレーニングは新たなモデルとしてリソース集約化が進んでいる。 本稿では、従来の畳み込みニューラルネットワーク(CNN)から始まり、新しいモデルを得るためのトレーニングを必要としないパラダイムを探求する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様,生体視覚系における情報サブシステム経路からインスピレーションを得て,MDA(Model Disassembling and Assembling)を提案する。 モデル分解において、相対寄与の概念を導入し、訓練されたCNN分類器からタスク認識コンポーネントを抽出するコンポーネント配置手法を提案する。 モデル組立にはアライメント・パディング・ストラテジーとパラメータ・スケーリング・ストラテジーを導入し,アライメント・パディング・ストラテジーを用いて特定のタスクに適した新しいモデルを構築する。 プロセス全体はLEGOブロックで遊び、新しいモデルの任意の組み立てを可能にし、モデルの作成と再利用のための新しい視点を提供するのと似ている。 大規模な実験では、CNN分類器から分解されたタスク認識コンポーネントや、これらのコンポーネントを使用して組み立てられた新しいモデルがベースラインのパフォーマンスと密に一致または超え、モデル再利用の有望な結果を示している。 さらに、MDAは、モデル決定経路分析、モデル圧縮、知識蒸留などの総合的な実験を含む、様々な潜在的な応用を示す。 コードはhttps://github.com/jiaconghu/Model-LEGO.comで入手できる。

関連論文リスト

• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
  視覚基盤モデルに基づくアプリケーションが増えている。 システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。 パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
  論文  参考訳（メタデータ） (2023-06-22T03:00:24Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
  モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。 本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2021-09-29T09:50:25Z)
• Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process [15.350366047108103]
  生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。 本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。 理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
  論文  参考訳（メタデータ） (2021-08-25T21:06:20Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。