論文の概要: Factorized Tensor Networks for Multi-Task and Multi-Domain Learning
- arxiv url: http://arxiv.org/abs/2310.06124v1
- Date: Mon, 9 Oct 2023 19:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 23:34:09.102502
- Title: Factorized Tensor Networks for Multi-Task and Multi-Domain Learning
- Title(参考訳): マルチタスク・マルチドメイン学習のための因子化テンソルネットワーク
- Authors: Yash Garg, Nebiyou Yismaw, Rakib Hyder, Ashley Prater-Bennette, M.
Salman Asif
- Abstract要約: 独立した単一タスク/ドメインネットワークに匹敵する精度を達成できる因子テンソルネットワーク(FTN)を提案する。
FTNは既存の手法に比べてタスク固有のパラメータがかなり少ない。
本研究では,異なるバックボーンを持つ畳み込み型アーキテクチャとトランスフォーマー型アーキテクチャの実験を行った。
- 参考スコア(独自算出の注目度): 17.618186852259015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task and multi-domain learning methods seek to learn multiple
tasks/domains, jointly or one after another, using a single unified network.
The key challenge and opportunity is to exploit shared information across tasks
and domains to improve the efficiency of the unified network. The efficiency
can be in terms of accuracy, storage cost, computation, or sample complexity.
In this paper, we propose a factorized tensor network (FTN) that can achieve
accuracy comparable to independent single-task/domain networks with a small
number of additional parameters. FTN uses a frozen backbone network from a
source model and incrementally adds task/domain-specific low-rank tensor
factors to the shared frozen network. This approach can adapt to a large number
of target domains and tasks without catastrophic forgetting. Furthermore, FTN
requires a significantly smaller number of task-specific parameters compared to
existing methods. We performed experiments on widely used multi-domain and
multi-task datasets. We show the experiments on convolutional-based
architecture with different backbones and on transformer-based architecture. We
observed that FTN achieves similar accuracy as single-task/domain methods while
using only a fraction of additional parameters per task.
- Abstract(参考訳): マルチタスクおよびマルチドメイン学習手法は、単一の統一ネットワークを使用して、複数のタスク/ドメインを共同あるいは相互に学習することを求める。
鍵となる課題と機会は、タスクとドメイン間で共有情報を活用し、統一ネットワークの効率を改善することである。
効率性は正確性、ストレージコスト、計算量、サンプルの複雑さの点で評価できる。
本稿では,少数のパラメータを付加した独立なシングルタスク/ドメインネットワークに匹敵する精度を実現するための因子化テンソルネットワーク(ftn)を提案する。
FTNはソースモデルからフリーズバックボーンネットワークを使用し、タスク/ドメイン固有の低ランクテンソル要素を共有フリーズネットワークに追加する。
このアプローチは、破滅的な忘れることなく、多数のターゲットドメインとタスクに適応することができる。
さらに、FTNは既存の手法に比べてタスク固有のパラメータをかなり少なくする必要がある。
広く使われているマルチドメインおよびマルチタスクデータセットの実験を行った。
本研究では,異なるバックボーンを持つ畳み込み型アーキテクチャとトランスフォーマー型アーキテクチャの実験を行った。
我々はFTNが単一タスク/ドメイン法と類似の精度を達成し,タスク毎のパラメータをわずかに増やした。
関連論文リスト
- EMA-Net: Efficient Multitask Affinity Learning for Dense Scene
Predictions [7.01633634930651]
マルチタスク親和性学習ネットワーク(EMA-Net)について紹介する。
EMA-Netは、我々の新しいクロスタスク親和性学習(CTAL)モジュールを用いて、ローカル、グローバル、およびクロスタスクのインタラクションを適応的にキャプチャする。
この結果から,CNNを用いたデコーダに着目したモデルに対して,最先端のMTL性能を実現することができた。
論文 参考訳(メタデータ) (2024-01-20T05:31:47Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳(メタデータ) (2023-10-13T07:31:04Z) - Learning Compact Neural Networks with Deep Overparameterised Multitask
Learning [0.0]
パラメータ化ニューラルネットワーク設計よりも単純で効率的で効果的なマルチタスク学習を提案する。
2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-08-25T10:51:02Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳(メタデータ) (2022-04-16T00:56:12Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - MultiTask-CenterNet (MCN): Efficient and Diverse Multitask Learning
using an Anchor Free Approach [0.13764085113103217]
マルチタスク学習は機械学習における一般的なアプローチである。
本稿では,複数の知覚関連タスクを同時に学習するためのCenterNetアンカーフリーアプローチを強化する。
論文 参考訳(メタデータ) (2021-08-11T06:57:04Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳(メタデータ) (2021-03-25T01:48:14Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳(メタデータ) (2020-12-14T12:34:01Z) - Multi-path Neural Networks for On-device Multi-domain Visual
Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。
提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。
決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文 参考訳(メタデータ) (2020-10-10T05:13:49Z) - Learning to Branch for Multi-Task Learning [12.49373126819798]
ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。
本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
論文 参考訳(メタデータ) (2020-06-02T19:23:21Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。