Fugu-MT 論文翻訳(概要): Tree DNN: A Deep Container Network

論文の概要: Tree DNN: A Deep Container Network

arxiv url: http://arxiv.org/abs/2212.03474v1
Date: Wed, 7 Dec 2022 06:05:56 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 15:11:45.240567
Title: Tree DNN: A Deep Container Network
Title（参考訳）: Tree DNN - ディープコンテナネットワーク
Authors: Brijraj Singh, Swati Gupta, Mayukh Das, Praveen Doreswamy Naidu, Sharan Kumar Allur
Abstract要約: TreeDNNは、モデルを複数のデータセットで同時にトレーニングするのに役立つ。 TreeDNNは、パラメータストレージのROM要件の削減による競合的なパフォーマンスを提供する。
参考スコア（独自算出の注目度）: 8.526713652072932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-Task Learning (MTL) has shown its importance at user products for fast training, data efficiency, reduced overfitting etc. MTL achieves it by sharing the network parameters and training a network for multiple tasks simultaneously. However, MTL does not provide the solution, if each task needs training from a different dataset. In order to solve the stated problem, we have proposed an architecture named TreeDNN along with it's training methodology. TreeDNN helps in training the model with multiple datasets simultaneously, where each branch of the tree may need a different training dataset. We have shown in the results that TreeDNN provides competitive performance with the advantage of reduced ROM requirement for parameter storage and increased responsiveness of the system by loading only specific branch at inference time.
Abstract（参考訳）: マルチタスク学習(mtl)は、迅速なトレーニング、データ効率、過剰フィッティングの低減など、ユーザ製品において重要性を示している。 mtlは、ネットワークパラメータを共有し、複数のタスクを同時にネットワークにトレーニングすることで実現します。しかし、各タスクが異なるデータセットからトレーニングが必要な場合、MTLはソリューションを提供しない。上記の問題を解決するため,我々はtreednnというアーキテクチャを提案し,そのトレーニング手法を提案する。 TreeDNNはモデルを複数のデータセットで同時にトレーニングするのに役立つ。パラメータ記憶におけるROM要求の低減と,推論時にのみ特定の分岐をロードすることでシステムの応答性を向上させることで,TreeDNNが競合性能を提供することを示した。

関連論文リスト

Parallel Multi-path Feed Forward Neural Networks (PMFFNN) for Long Columnar Datasets: A Novel Approach to Complexity Reduction [0.0]
我々はPMFFNN(Parallel Multi-path Feed Forward Neural Networks)と呼ばれる新しいアーキテクチャを導入する。そうすることで、アーキテクチャは各機能のサブセットに注目が集まることを保証します。 PMFFNNは従来のFFNNや1D CNNよりも優れており、大規模データ管理に最適化されたソリューションを提供する。
論文参考訳（メタデータ） (2024-11-09T00:48:32Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。提案するフレームワークは,合理的な性能で高い効率性を示す。
論文参考訳（メタデータ） (2023-04-20T07:21:32Z)
Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文参考訳（メタデータ） (2022-06-07T15:48:02Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
A Tree-Structured Multi-Task Model Recommender [25.445073413243925]
木構造型マルチタスクアーキテクチャは、マルチタスク学習(MTL)のコンテキストにおいて、複数の視覚タスクに取り組むために採用されている。本稿では,モデルトレーニングを行なわずにユーザ指定の計算予算を満たしながら高いタスク性能を実現することができる木構造マルチタスクアーキテクチャを提案する。一般的なMTLベンチマークの大規模な評価は、推奨アーキテクチャが最先端のMTL手法と比較して、競合するタスク精度と計算効率を達成できることを示している。
論文参考訳（メタデータ） (2022-03-10T00:09:43Z)
Embedded Knowledge Distillation in Depth-level Dynamic Neural Network [8.207403859762044]
類似アーキテクチャの異なる深層サブネットを統合した、エレガントな深層ダイナミックニューラルネットワーク(DDNN)を提案する。本稿では、DDNNが教師(フル)ネットから複数のサブネットへの意味的知識伝達を実装するためのEKD(Embedded-Knowledge-Distillation)トレーニング機構を設計する。 CIFAR-10、CIFAR-100、ImageNetデータセットの実験では、EKDトレーニングを備えたDDNNのサブネットは、深さレベルの切断または個別トレーニングよりも優れたパフォーマンスを実現します。
論文参考訳（メタデータ） (2021-03-01T06:35:31Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
Learning to Branch for Multi-Task Learning [12.49373126819798]
ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
論文参考訳（メタデータ） (2020-06-02T19:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。