論文の概要: Learning Compact Neural Networks with Deep Overparameterised Multitask Learning

• arxiv url: http://arxiv.org/abs/2308.13300v1
• Date: Fri, 25 Aug 2023 10:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:23:02.388900
• Title: Learning Compact Neural Networks with Deep Overparameterised Multitask Learning
• Title（参考訳）: マルチタスク深層学習を用いた小型ニューラルネットワークの学習
• Authors: Shen Ren, Haosen Shi
• Abstract要約: パラメータ化ニューラルネットワーク設計よりも単純で効率的で効果的なマルチタスク学習を提案する。 2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Compact neural network offers many benefits for real-world applications. However, it is usually challenging to train the compact neural networks with small parameter sizes and low computational costs to achieve the same or better model performance compared to more complex and powerful architecture. This is particularly true for multitask learning, with different tasks competing for resources. We present a simple, efficient and effective multitask learning overparameterisation neural network design by overparameterising the model architecture in training and sharing the overparameterised model parameters more effectively across tasks, for better optimisation and generalisation. Experiments on two challenging multitask datasets (NYUv2 and COCO) demonstrate the effectiveness of the proposed method across various convolutional networks and parameter sizes.
• Abstract（参考訳）: コンパクトニューラルネットワークは、現実世界のアプリケーションに多くの利点をもたらす。 しかし、通常、より複雑で強力なアーキテクチャと比較して、同じまたはより良いモデル性能を達成するために、小さなパラメータサイズと低い計算コストでコンパクトニューラルネットワークを訓練することは困難である。 これは特にマルチタスク学習に当てはまり、異なるタスクがリソースと競合する。 トレーニングにおいてモデルアーキテクチャをオーバーパラメータ化し、タスク全体にわたってより効率的に過パラメータ化モデルパラメータを共有することにより、最適化と一般化を向上し、簡便で効率的なマルチタスク学習過パラメータ化ニューラルネットワーク設計を提案する。 2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験は、様々な畳み込みネットワークとパラメータサイズで提案手法の有効性を示す。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
  重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。 本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
  論文  参考訳（メタデータ） (2023-08-23T16:42:27Z)
• Multi-task neural networks by learned contextual inputs [0.0]
  完全に共有されたニューラルネットワークと、トレーニング可能なタスクパラメータを含む拡張入力ベクトルに基づくマルチタスク学習アーキテクチャである。 このアーキテクチャは、低次元のタスクパラメータ空間を促進する強力なタスク機構によって興味深い。 アーキテクチャのパフォーマンスは、10つのデータセット上の類似のニューラルネットワークアーキテクチャと比較される。
  論文  参考訳（メタデータ） (2023-03-01T19:25:52Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Kernel Modulation: A Parameter-Efficient Method for Training Convolutional Neural Networks [19.56633207984127]
  本研究は,階層のサブセットではなく,ベースネットワークのすべてのパラメータを適応する,新しいパラメータ効率の高いカーネル変調(KM)手法を提案する。 KMは軽量なタスク特化カーネル変調器を使用し、ベースネットワークパラメータの1.4%しか必要としない。 以上の結果から,KMはTransfer Learningベンチマークの他のパラメータ効率の高い手法よりも最大9%高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-03-29T07:28:50Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。