論文の概要: Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement

• arxiv url: http://arxiv.org/abs/2402.03557v2
• Date: Wed, 17 Apr 2024 01:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 19:01:11.468627
• Title: Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement
• Title（参考訳）: マルチタスク学習効率のロバスト解析:ライトウェイドバックボーンの新しいベンチマークと特徴差によるマルチタスク学習課題の効果的測定
• Authors: Dayou Mao, Yuhao Chen, Yifan Wu, Maximilian Gilles, Alexander Wong,
• Abstract要約: 本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
• 参考スコア（独自算出の注目度）: 69.51496713076253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the main motivations of MTL is to develop neural networks capable of inferring multiple tasks simultaneously. While countless methods have been proposed in the past decade investigating robust model architectures and efficient training algorithms, there is still lack of understanding of these methods when applied on smaller feature extraction backbones, the generalizability of the commonly used fast approximation technique of replacing parameter-level gradients with feature level gradients, and lack of comprehensive understanding of MTL challenges and how one can efficiently and effectively identify the challenges. In this paper, we focus on the aforementioned efficiency aspects of existing MTL methods. We first carry out large-scale experiments of the methods with smaller backbones and on a the MetaGraspNet dataset as a new test ground. We also compare the existing methods with and without using the fast gradient surrogate and empirically study the generalizability of this technique. Lastly, we propose Feature Disentanglement measure as a novel and efficient identifier of the challenges in MTL, and propose Ranking Similarity score as an evaluation metric for different identifiers to prove the faithfulness of our method.
• Abstract（参考訳）: MTLの主な動機の1つは、複数のタスクを同時に推測できるニューラルネットワークを開発することである。 過去10年間、ロバストなモデルアーキテクチャと効率的なトレーニングアルゴリズムを調査する無数の手法が提案されてきたが、より小さな特徴抽出バックボーンに適用された場合、これらの手法の理解の欠如、パラメータレベルの勾配を特徴レベル勾配に置き換える高速近似法の一般化可能性、MTL課題の包括的理解の欠如、その課題を効果的に効果的に特定する方法の欠如、などがあげられる。 本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,従来の手法と高速勾配サロゲートの使用の有無を比較し,この手法の一般化可能性について実験的に検討する。 最後に,MTLにおける課題の新規かつ効率的な識別子として特徴分散尺度を提案し,異なる識別子に対する評価指標としてランク付け類似度スコアを提案し,提案手法の忠実さを証明する。

関連論文リスト

• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning [8.493889694402478]
  マルチタスク学習(MTL)における鍵となる課題は、ニューラルネットワークトレーニング中の個々のタスク損失のバランスを取り、パフォーマンスと効率を改善することである。 本稿では,不確かさ重み付けの最も一般的な手法に基づくタスク重み付け手法を提案する。 我々のアプローチは、解析的に禁止された、スケーラブル化のブルートフォースアプローチに匹敵する結果をもたらす。
  論文  参考訳（メタデータ） (2024-08-15T07:10:17Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• Improving Multi-task Learning via Seeking Task-based Flat Regions [43.85516379095757]
  MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。 単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:19:30Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Adaptive neighborhood Metric learning [184.95321334661898]
  適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。 本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
  論文  参考訳（メタデータ） (2022-01-20T17:26:37Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation [19.792537914018933]
  マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。 現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。 MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
  論文  参考訳（メタデータ） (2021-06-16T17:58:23Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。