論文の概要: Robust Analysis of Multi-Task Learning on a Complex Vision System
- arxiv url: http://arxiv.org/abs/2402.03557v1
- Date: Mon, 5 Feb 2024 22:15:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 17:51:52.980704
- Title: Robust Analysis of Multi-Task Learning on a Complex Vision System
- Title（参考訳）: 複雑な視覚システムにおけるマルチタスク学習のロバスト解析
- Authors: Dayou Mao, Yuhao Chen, Yifan Wu, Maximilian Gilles, Alexander Wong
- Abstract要約: マルチタスク学習(MTL)は過去10年間に広く研究されてきた。
複雑な実世界のシナリオにおけるパフォーマンスについて、まだ深く理解されていない。
- 参考スコア（独自算出の注目度）: 73.65915899030895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-task learning (MTL) has been widely studied in the past decade. In
particular, dozens of optimization algorithms have been proposed for different
settings. While each of them claimed improvement when applied to certain models
on certain datasets, there is still lack of deep understanding on the
performance in complex real-worlds scenarios. We identify the gaps between
research and application and make the following 4 contributions. (1) We
comprehensively evaluate a large set of existing MTL optimization algorithms on
the MetaGraspNet dataset designed for robotic grasping task, which is complex
and has high real-world application values, and conclude the best-performing
methods. (2) We empirically compare the method performance when applied on
feature-level gradients versus parameter-level gradients over a large set of
MTL optimization algorithms, and conclude that this feature-level gradients
surrogate is reasonable when there are method-specific theoretical guarantee
but not generalizable to all methods. (3) We provide insights on the problem of
task interference and show that the existing perspectives of gradient angles
and relative gradient norms do not precisely reflect the challenges of MTL, as
the rankings of the methods based on these two indicators do not align well
with those based on the test-set performance. (4) We provide a novel view of
the task interference problem from the perspective of the latent space induced
by the feature extractor and provide training monitoring results based on
feature disentanglement.
- Abstract（参考訳）: マルチタスク学習(MTL)は過去10年間に広く研究されてきた。
特に、様々な設定で数十の最適化アルゴリズムが提案されている。
それぞれが特定のデータセット上の特定のモデルに適用した場合の改善を主張しているが、複雑な実世界のシナリオにおけるパフォーマンスに関する深い理解はいまだにない。
研究とアプリケーションの間のギャップを特定し、以下の4つの貢献を行う。
1)複雑な実世界の応用価値が高いロボット把持タスク用に設計されたメタグラスプネットデータセット上で,既存のmtl最適化アルゴリズムを包括的に評価し,最善の手法を導出する。
2) MTL最適化アルゴリズムの大規模集合に対する特徴レベル勾配とパラメータレベル勾配に適用した場合の手法性能を実証的に比較し,この特徴レベル勾配はメソッド固有の理論的保証があるが,すべての手法に一般化できない場合に妥当であると結論付けた。
3) タスク干渉問題に対する洞察を与え, 既存の勾配角と相対勾配ノルムの視点が, MTLの課題を正確に反映していないことを示す。
(4)特徴抽出器によって誘導される潜在空間の観点からタスク干渉問題の新たな視点を提供し,特徴のゆがみに基づくトレーニング監視結果を提供する。
関連論文リスト
- Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。
数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
論文 参考訳（メタデータ） (2024-09-02T12:55:27Z) - Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning [8.493889694402478]
マルチタスク学習(MTL)における鍵となる課題は、ニューラルネットワークトレーニング中の個々のタスク損失のバランスを取り、パフォーマンスと効率を改善することである。
本稿では,不確かさ重み付けの最も一般的な手法に基づくタスク重み付け手法を提案する。
我々のアプローチは、解析的に禁止された、スケーラブル化のブルートフォースアプローチに匹敵する結果をもたらす。
論文 参考訳（メタデータ） (2024-08-15T07:10:17Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。
このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
論文 参考訳（メタデータ） (2023-07-25T20:08:41Z) - Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文 参考訳（メタデータ） (2022-11-24T17:19:30Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳（メタデータ） (2022-01-20T17:26:37Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳（メタデータ） (2021-06-29T12:52:26Z) - Bridging Multi-Task Learning and Meta-Learning: Towards Efficient
Training and Effective Adaptation [19.792537914018933]
マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。
現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。
MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
論文 参考訳（メタデータ） (2021-06-16T17:58:23Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。