論文の概要: Modularity in Deep Learning: A Survey
- arxiv url: http://arxiv.org/abs/2310.01154v1
- Date: Mon, 2 Oct 2023 12:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 21:50:39.842081
- Title: Modularity in Deep Learning: A Survey
- Title（参考訳）: ディープラーニングにおけるモジュール性:調査
- Authors: Haozhe Sun (LISN, TAU, Inria), Isabelle Guyon (TAU, LISN, Inria)
- Abstract要約: データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。
データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。
タスクのモジュール化はタスクをサブタスクに分解することを指す。
モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modularity is a general principle present in many fields. It offers
attractive advantages, including, among others, ease of conceptualization,
interpretability, scalability, module combinability, and module reusability.
The deep learning community has long sought to take inspiration from the
modularity principle, either implicitly or explicitly. This interest has been
increasing over recent years. We review the notion of modularity in deep
learning around three axes: data, task, and model, which characterize the life
cycle of deep learning. Data modularity refers to the observation or creation
of data groups for various purposes. Task modularity refers to the
decomposition of tasks into sub-tasks. Model modularity means that the
architecture of a neural network system can be decomposed into identifiable
modules. We describe different instantiations of the modularity principle, and
we contextualize their advantages in different deep learning sub-fields.
Finally, we conclude the paper with a discussion of the definition of
modularity and directions for future research.
- Abstract（参考訳）: モジュラリティは多くの分野に存在する一般的な原理である。
概念化の容易さ,解釈性,スケーラビリティ,モジュールの可利用性,モジュール再利用性など,魅力的なメリットがある。
ディープラーニングコミュニティは、暗黙的にも明示的にも、モジュール性原則から着想を得ようと長年努力してきた。
近年、この関心は高まっている。
我々は、ディープラーニングのライフサイクルを特徴付けるデータ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念をレビューする。
データモジュラリティ(Data modularity)とは、さまざまな目的でデータグループを観察または作成することを指す。
タスクのモジュール化はタスクをサブタスクに分解することを指す。
モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
モジュール性原理の異なるインスタンス化を記述し、その利点を異なるディープラーニングサブフィールドで文脈的に表現する。
最後に,モジュール性の定義と今後の研究の方向性について論じる。
関連論文リスト
- Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。
各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。
検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。
FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
論文 参考訳（メタデータ） (2024-09-04T17:01:02Z) - Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。
また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
論文 参考訳（メタデータ） (2024-03-27T17:50:00Z) - Discovering modular solutions that generalize compositionally [55.46688816816882]
実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。
さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
論文 参考訳（メタデータ） (2023-12-22T16:33:50Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:57Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳（メタデータ） (2023-02-22T18:11:25Z) - Is a Modular Architecture Enough? [80.32451720642209]
我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。
モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
論文 参考訳（メタデータ） (2022-06-06T16:12:06Z) - Robustness modularity in complex networks [1.749935196721634]
本稿では,ロバストネスの概念に基づく新しい尺度を提案する。
ロバスト性モジュラリティは、ネットワークの構造がランダムに摂動しているときに、自明な分割を見つける確率である。
人工グラフと実グラフの試験により、異なるネットワークのコミュニティ構造の強度を評価し比較するために、ロバスト性モジュラリティが利用できることが明らかになった。
論文 参考訳（メタデータ） (2021-10-05T19:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。