論文の概要: Auto-Lambda: Disentangling Dynamic Task Relationships
- arxiv url: http://arxiv.org/abs/2202.03091v1
- Date: Mon, 7 Feb 2022 12:07:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 14:12:41.532403
- Title: Auto-Lambda: Disentangling Dynamic Task Relationships
- Title（参考訳）: Auto-Lambda: 動的タスク関係の分離
- Authors: Shikun Liu, Stephen James, Andrew J. Davison, Edward Johns
- Abstract要約: 本研究では,自動重み付けフレームワークであるAuto-Lambdaを用いてタスク関係を学習する。
提案手法をコンピュータビジョンとロボット工学におけるマルチタスクと補助学習の両問題に適用する。
我々はAuto-Lambdaが興味深い学習行動を発見し、マルチタスク学習における新たな洞察をもたらすことを観察した。
- 参考スコア（独自算出の注目度）: 30.294666922162797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the structure of multiple related tasks allows for multi-task
learning to improve the generalisation ability of one or all of them. However,
it usually requires training each pairwise combination of tasks together in
order to capture task relationships, at an extremely high computational cost.
In this work, we learn task relationships via an automated weighting framework,
named Auto-Lambda. Unlike previous methods where task relationships are assumed
to be fixed, Auto-Lambda is a gradient-based meta learning framework which
explores continuous, dynamic task relationships via task-specific weightings,
and can optimise any choice of combination of tasks through the formulation of
a meta-loss; where the validation loss automatically influences task weightings
throughout training. We apply the proposed framework to both multi-task and
auxiliary learning problems in computer vision and robotics, and show that
Auto-Lambda achieves state-of-the-art performance, even when compared to
optimisation strategies designed specifically for each problem and data domain.
Finally, we observe that Auto-Lambda can discover interesting learning
behaviors, leading to new insights in multi-task learning. Code is available at
https://github.com/lorenmt/auto-lambda.
- Abstract（参考訳）: 複数の関連するタスクの構造を理解することで、マルチタスク学習は1つまたはすべてのタスクの一般化能力を改善することができる。
しかし、通常は、タスク関係を非常に高い計算コストで捉えるために、各タスクの組み合わせを同時に訓練する必要がある。
本研究では,自動重み付けフレームワークauto-lambdaを用いてタスク関係を学習する。
タスク間の関係を固定する従来の方法とは異なり、auto-lambdaは勾配ベースのメタ学習フレームワークであり、タスク固有の重み付けを通じて連続的でダイナミックなタスク関係を探索し、メタ損失の定式化を通じてタスクの組み合わせの選択を最適化する。
提案手法をコンピュータビジョンとロボット工学のマルチタスクおよび補助学習問題に適用し,各問題とデータ領域用に設計された最適化戦略と比較しても,auto-lambdaが最先端のパフォーマンスを達成していることを示す。
最後に、auto-lambdaが興味深い学習行動を発見し、マルチタスク学習に新たな洞察をもたらすことを観察する。
コードはhttps://github.com/lorenmt/auto-lambdaで入手できる。
関連論文リスト
- Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。
マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。
以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
論文 参考訳（メタデータ） (2024-01-20T05:31:47Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - AutoSTL: Automated Spatio-Temporal Multi-Task Learning [17.498339023562835]
本稿では,タスク間の依存性を活用すべく,高度な時間的操作からなるスケーラブルなアーキテクチャを提案する。
我々のモデルは内在核融合重量の演算を自動的に割り当てる。
AutoSTLは最初の自動時空間マルチタスク学習法である。
論文 参考訳（メタデータ） (2023-04-16T10:03:05Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。
我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-08-29T10:19:10Z) - Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。
現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。
本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-03T20:26:44Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文 参考訳（メタデータ） (2021-09-10T02:01:43Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z) - Transforming task representations to perform novel tasks [12.008469282323492]
知性の重要な側面は、直接の経験(ゼロショット)なしで新しいタスクに適応できる能力である。
本稿では,従来のタスクとの関係に基づいて,新しいタスクに適応するための一般的な計算フレームワークを提案する。
論文 参考訳（メタデータ） (2020-05-08T23:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。