Fugu-MT 論文翻訳(概要): Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks

論文の概要: Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks

arxiv url: http://arxiv.org/abs/2107.10963v1
Date: Fri, 23 Jul 2021 00:05:55 GMT
ステータス: 処理完了
システム内更新日: 2021-07-26 22:16:38.330065
Title: Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks
Title（参考訳）: 構成モデル:モジュールネットワークを用いたマルチタスク学習と知識伝達
Authors: Andrey Zhmoginov, Dina Bashkirova and Mark Sandler
Abstract要約: 本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
参考スコア（独自算出の注目度）: 13.308477955656592
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Conditional computation and modular networks have been recently proposed for multitask learning and other problems as a way to decompose problem solving into multiple reusable computational blocks. We propose a new approach for learning modular networks based on the isometric version of ResNet with all residual blocks having the same configuration and the same number of parameters. This architectural choice allows adding, removing and changing the order of residual blocks. In our method, the modules can be invoked repeatedly and allow knowledge transfer to novel tasks by adjusting the order of computation. This allows soft weight sharing between tasks with only a small increase in the number of parameters. We show that our method leads to interpretable self-organization of modules in case of multi-task learning, transfer learning and domain adaptation while achieving competitive results on those tasks. From practical perspective, our approach allows to: (a) reuse existing modules for learning new task by adjusting the computation order, (b) use it for unsupervised multi-source domain adaptation to illustrate that adaptation to unseen data can be achieved by only manipulating the order of pretrained modules, (c) show how our approach can be used to increase accuracy of existing architectures for image classification tasks such as ImageNet, without any parameter increase, by reusing the same block multiple times.
Abstract（参考訳）: 近年,複数の再利用可能な計算ブロックに問題解決を分解する手段として,マルチタスク学習などの問題に対して,条件計算とモジュールネットワークが提案されている。本論文では,同じ構成とパラメータ数を持つ残差ブロックを全て含むresnetの等尺版に基づいて,モジュールネットワークを学習するための新しい手法を提案する。このアーキテクチャの選択は、残余ブロックの追加、削除、変更を可能にする。本手法では,モジュールを繰り返し呼び出すことができ,計算順序を調整することで,新しいタスクへの知識伝達を可能にする。これにより、パラメータ数がわずかに増加するだけでタスク間のソフトウェイト共有が可能になる。提案手法は,マルチタスク学習や移動学習,ドメイン適応などにおいて,モジュールの自己組織を解釈可能とし,それらのタスクにおいて競合的な結果が得られることを示す。 From practical perspective, our approach allows to: (a) reuse existing modules for learning new task by adjusting the computation order, (b) use it for unsupervised multi-source domain adaptation to illustrate that adaptation to unseen data can be achieved by only manipulating the order of pretrained modules, (c) show how our approach can be used to increase accuracy of existing architectures for image classification tasks such as ImageNet, without any parameter increase, by reusing the same block multiple times.

関連論文リスト

Multi-Domain Learning with Modulation Adapters [33.54630534228469]
マルチドメイン学習は、複数のドメインにまたがる画像分類など、関連するタスクを同時に処理することを目的としている。変調アダプタは、各タスクに対して乗法的にモデルの畳み込み重みを更新する。我々のアプローチは、既存の最先端のアプローチと同等かそれ以上の精度で、優れた結果をもたらす。
論文参考訳（メタデータ） (2023-07-17T14:40:16Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
本稿では,タスクを減らした少数ショット学習手法を提案する。メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。また,変分法を取り入れた学習的変分特徴階層も導入する。
論文参考訳（メタデータ） (2023-05-17T15:47:47Z)
Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文参考訳（メタデータ） (2023-02-22T18:11:25Z)
AMS-Net: Adaptive Multiscale Sparse Neural Network with Interpretable Basis Expansion for Multiphase Flow Problems [8.991619150027267]
本研究では、物理過程の学習に応用可能な適応スパース学習アルゴリズムを提案し、大きなスナップショット空間を与えられた解のスパース表現を得る。基本関数の情報は損失関数に組み込まれており、複数の時間ステップにおけるダウンスケール縮小次数解と参照解との差を最小限に抑える。複雑なアプリケーションにおける提案手法の有効性と解釈性を示すため, 2相多相流問題に対してより数値的な実験を行った。
論文参考訳（メタデータ） (2022-07-24T13:12:43Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Memory Efficient Adaptive Attention For Multiple Domain Learning [3.8907870897999355]
新しいドメインでスクラッチからCNNを訓練するには、通常、大量のラベル付き画像と計算が必要である。これらの要求を減らす方法の1つは、CNNアーキテクチャをモジュール化し、重いモジュールの重みを凍結することである。近年の研究では、訓練可能なパラメータの数を削減できる代替のモジュラーアーキテクチャとスキームが提案されている。
論文参考訳（メタデータ） (2021-10-21T08:33:29Z)
Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文参考訳（メタデータ） (2021-09-15T21:19:11Z)
Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文参考訳（メタデータ） (2020-10-15T20:43:17Z)
Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
マルチタスク学習は強化学習において非常に難しい問題である。この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
論文参考訳（メタデータ） (2020-03-30T17:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。