論文の概要: Robust Analysis of Multi-Task Learning on a Complex Vision System
- arxiv url: http://arxiv.org/abs/2402.03557v1
- Date: Mon, 5 Feb 2024 22:15:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 17:51:52.980704
- Title: Robust Analysis of Multi-Task Learning on a Complex Vision System
- Title(参考訳): 複雑な視覚システムにおけるマルチタスク学習のロバスト解析
- Authors: Dayou Mao, Yuhao Chen, Yifan Wu, Maximilian Gilles, Alexander Wong
- Abstract要約: マルチタスク学習(MTL)は過去10年間に広く研究されてきた。
複雑な実世界のシナリオにおけるパフォーマンスについて、まだ深く理解されていない。
- 参考スコア(独自算出の注目度): 73.65915899030895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-task learning (MTL) has been widely studied in the past decade. In
particular, dozens of optimization algorithms have been proposed for different
settings. While each of them claimed improvement when applied to certain models
on certain datasets, there is still lack of deep understanding on the
performance in complex real-worlds scenarios. We identify the gaps between
research and application and make the following 4 contributions. (1) We
comprehensively evaluate a large set of existing MTL optimization algorithms on
the MetaGraspNet dataset designed for robotic grasping task, which is complex
and has high real-world application values, and conclude the best-performing
methods. (2) We empirically compare the method performance when applied on
feature-level gradients versus parameter-level gradients over a large set of
MTL optimization algorithms, and conclude that this feature-level gradients
surrogate is reasonable when there are method-specific theoretical guarantee
but not generalizable to all methods. (3) We provide insights on the problem of
task interference and show that the existing perspectives of gradient angles
and relative gradient norms do not precisely reflect the challenges of MTL, as
the rankings of the methods based on these two indicators do not align well
with those based on the test-set performance. (4) We provide a novel view of
the task interference problem from the perspective of the latent space induced
by the feature extractor and provide training monitoring results based on
feature disentanglement.
- Abstract(参考訳): マルチタスク学習(MTL)は過去10年間に広く研究されてきた。
特に、様々な設定で数十の最適化アルゴリズムが提案されている。
それぞれが特定のデータセット上の特定のモデルに適用した場合の改善を主張しているが、複雑な実世界のシナリオにおけるパフォーマンスに関する深い理解はいまだにない。
研究とアプリケーションの間のギャップを特定し、以下の4つの貢献を行う。
1)複雑な実世界の応用価値が高いロボット把持タスク用に設計されたメタグラスプネットデータセット上で,既存のmtl最適化アルゴリズムを包括的に評価し,最善の手法を導出する。
2) MTL最適化アルゴリズムの大規模集合に対する特徴レベル勾配とパラメータレベル勾配に適用した場合の手法性能を実証的に比較し,この特徴レベル勾配はメソッド固有の理論的保証があるが,すべての手法に一般化できない場合に妥当であると結論付けた。
3) タスク干渉問題に対する洞察を与え, 既存の勾配角と相対勾配ノルムの視点が, MTLの課題を正確に反映していないことを示す。
(4)特徴抽出器によって誘導される潜在空間の観点からタスク干渉問題の新たな視点を提供し,特徴のゆがみに基づくトレーニング監視結果を提供する。
関連論文リスト
- Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [42.30751065699872]
マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。
ベイジアン推論を用いた新しい勾配集約手法を提案する。
さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
論文 参考訳(メタデータ) (2024-02-06T14:00:43Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳(メタデータ) (2023-09-21T14:00:11Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T14:28:26Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - MaxGNR: A Dynamic Weight Strategy via Maximizing Gradient-to-Noise Ratio
for Multi-Task Learning [19.38778317110205]
コンピュータビジョンでは、マルチタスク学習(MTL)はシングルタスク学習(STL)より優れている。
MTLシナリオでは、タスク間グラディエントノイズ(ITGN)が各タスクの勾配ノイズの付加源となる。
我々は、各タスクのITGN干渉を軽減するために、MaxGNRアルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-02-18T14:50:45Z) - Task-Agnostic Continual Reinforcement Learning: Gaining Insights and
Overcoming Challenges [27.474011433615317]
連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。
タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
論文 参考訳(メタデータ) (2022-05-28T17:59:00Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳(メタデータ) (2021-09-16T20:58:40Z) - High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。
各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。
合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
論文 参考訳(メタデータ) (2020-12-17T23:21:53Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。