論文の概要: On-edge Multi-task Transfer Learning: Model and Practice with
Data-driven Task Allocation
- arxiv url: http://arxiv.org/abs/2107.02466v1
- Date: Tue, 6 Jul 2021 08:24:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 13:42:04.919885
- Title: On-edge Multi-task Transfer Learning: Model and Practice with
Data-driven Task Allocation
- Title（参考訳）: オンエッジマルチタスク転送学習:データ駆動タスク割り当てによるモデルと実践
- Authors: Zimu Zheng, Qiong Chen, Chuang Hu, Dan Wang, Fangming Liu
- Abstract要約: マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。
我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。
我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
- 参考スコア（独自算出の注目度）: 20.20889051697198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On edge devices, data scarcity occurs as a common problem where transfer
learning serves as a widely-suggested remedy. Nevertheless, transfer learning
imposes a heavy computation burden to resource-constrained edge devices.
Existing task allocation works usually assume all submitted tasks are equally
important, leading to inefficient resource allocation at a task level when
directly applied in Multi-task Transfer Learning (MTL). To address these
issues, we first reveal that it is crucial to measure the impact of tasks on
overall decision performance improvement and quantify \emph{task importance}.
We then show that task allocation with task importance for MTL (TATIM) is a
variant of the NP-complete Knapsack problem, where the complicated computation
to solve this problem needs to be conducted repeatedly under varying contexts.
To solve TATIM with high computational efficiency, we propose a Data-driven
Cooperative Task Allocation (DCTA) approach. Finally, we evaluate the
performance of DCTA by not only a trace-driven simulation, but also a new
comprehensive real-world AIOps case study that bridges model and practice via a
new architecture and main components design within the AIOps system. Extensive
experiments show that our DCTA reduces 3.24 times of processing time, and saves
48.4\% energy consumption compared with the state-of-the-art when solving
TATIM.
- Abstract（参考訳）: エッジデバイスでは、転送学習が広く推奨される治療として機能する一般的な問題としてデータ不足が発生する。
それにもかかわらず、転送学習はリソース制約のあるエッジデバイスに重い計算負荷を課す。
既存のタスク割当作業は通常、送信されたすべてのタスクが等しく重要であると仮定し、マルチタスク転送学習(mtl)に直接適用される場合、タスクレベルで非効率なリソース割当につながる。
これらの課題に対処するために、まず、タスクが全体的な意思決定性能改善に与える影響を計測し、 \emph{task importance} を定量化することが重要であることを明らかにする。
MTL(TATIM)のタスクの割り当ては、NP完全Knapsack問題の変種であり、この問題を解決するための複雑な計算を、様々な状況下で繰り返し行う必要があることを示す。
高い計算効率でTATIMを解くために,データ駆動型協調タスク割当(DCTA)手法を提案する。
最後に、トレース駆動シミュレーションだけでなく、新しいアーキテクチャとaiopsシステム内の主コンポーネント設計を通してモデルと実践を橋渡しする新しい総合的な実世界のaiopsケーススタディによって、dctaの性能を評価する。
広範な実験により、我々のdctaは3.24倍の処理時間を削減し、タティムを解決するときと比較して48.4\%のエネルギー消費を節約できることが示されている。
関連論文リスト
- InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳（メタデータ） (2024-02-26T18:59:52Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-06T13:12:59Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。
タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。
理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
論文 参考訳（メタデータ） (2020-05-02T23:43:52Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z) - Emerging Relation Network and Task Embedding for Multi-Task Regression
Problems [5.953831950062808]
マルチタスク学習(mtl)は、コンピュータビジョンと自然言語処理の多くの応用において最先端の結果を提供する。
この記事では、以下に示すmtlアーキテクチャと重要なmtlアーキテクチャの比較研究を紹介する。
我々は,スライトスネットワークの拡張と見なせる新興関係ネットワーク(ern)と呼ばれる新しいmtlアーキテクチャを導入する。
論文 参考訳（メタデータ） (2020-04-29T09:02:24Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。