論文の概要: Modular Deep Learning

• arxiv url: http://arxiv.org/abs/2302.11529v2
• Date: Sat, 27 Jan 2024 12:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 23:05:07.575458
• Title: Modular Deep Learning
• Title（参考訳）: モジュール型ディープラーニング
• Authors: Jonas Pfeiffer, Sebastian Ruder, Ivan Vuli\'c, Edoardo Maria Ponti
• Abstract要約: トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
• 参考スコア（独自算出の注目度）: 120.36599591042908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has recently become the dominant paradigm of machine learning. Pre-trained models fine-tuned for downstream tasks achieve better performance with fewer labelled examples. Nonetheless, it remains unclear how to develop models that specialise towards multiple tasks without incurring negative interference and that generalise systematically to non-identically distributed tasks. Modular deep learning has emerged as a promising solution to these challenges. In this framework, units of computation are often implemented as autonomous parameter-efficient modules. Information is conditionally routed to a subset of modules and subsequently aggregated. These properties enable positive transfer and systematic generalisation by separating computation from routing and updating modules locally. We offer a survey of modular architectures, providing a unified view over several threads of research that evolved independently in the scientific literature. Moreover, we explore various additional purposes of modularity, including scaling language models, causal inference, programme induction, and planning in reinforcement learning. Finally, we report various concrete applications where modularity has been successfully deployed such as cross-lingual and cross-modal knowledge transfer. Related talks and projects to this survey, are available at https://www.modulardeeplearning.com/.
• Abstract（参考訳）: トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 下流タスク用に微調整された事前訓練されたモデルは、ラベル付き例を少なくしてより良いパフォーマンスを実現する。 にもかかわらず、負の干渉を起こさずに複数のタスクに特化して、体系的に非同一の分散タスクに一般化するモデルを開発する方法はまだ不明である。 モジュラーディープラーニングは、これらの課題に対する有望な解決策として現れてきた。 このフレームワークでは、計算単位はしばしば自律的なパラメーター効率のモジュールとして実装される。 情報は条件付きでモジュールのサブセットにルーティングされ、その後集約される。 これらの特性は、計算をルーティングから分離し、モジュールをローカルに更新することで、正の転送と体系的な一般化を可能にする。 我々はモジュラーアーキテクチャの調査を行い、科学文献の中で独立に進化したいくつかの研究のスレッドを統一した見解を提供する。 さらに,言語モデルのスケーリング,因果推論,プログラム誘導,強化学習の計画など,モジュール性に関するさまざまな目的についても検討する。 最後に,モジュール性が言語間やモーダル間の知識伝達など,様々な具体的な応用について報告する。 この調査に関連する講演やプロジェクトは、https://www.modulardeeplearning.com/で見ることができる。

関連論文リスト

• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Modularity in Deep Learning: A Survey [0.0]
  データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。 データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。 タスクのモジュール化はタスクをサブタスクに分解することを指す。 モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
  論文  参考訳（メタデータ） (2023-10-02T12:41:34Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。