論文の概要: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- arxiv url: http://arxiv.org/abs/2310.09278v2
- Date: Fri, 29 Nov 2024 12:47:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:15:53.868053
- Title: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- Title（参考訳）: データ駆動補助学習を支援する不整合潜在空間
- Authors: Geri Skenderi, Luigi Capogrosso, Andrea Toaiari, Matteo Denitto, Franco Fummi, Simone Melzi, Marco Cristani,
- Abstract要約: 補助的なタスクは、データが乏しい、あるいは焦点の主タスクが極めて複雑である状況での学習を容易にする。
Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関連性のある新たな補助的分類タスクを見つけるために,弱い教師付き逆絡手順が使用される。
我々は、最も不整合な部分空間上のクラスタリング手順によって補助的な分類タスクを生成し、ラベルの離散的な集合を得る。
- 参考スコア（独自算出の注目度）: 14.677411619418319
- License:
- Abstract: Auxiliary tasks facilitate learning in situations when data is scarce or the principal task of focus is extremely complex. This idea is primarily inspired by the improved generalization capability induced by solving multiple tasks simultaneously, which leads to a more robust shared representation. Nevertheless, finding optimal auxiliary tasks is a crucial problem that often requires hand-crafted solutions or expensive meta-learning approaches. In this paper, we propose a novel framework, dubbed Detaux, whereby a weakly supervised disentanglement procedure is used to discover a new unrelated auxiliary classification task, which allows us to go from a Single-Task Learning (STL) to a Multi-Task Learning (MTL) problem. The disentanglement procedure works at the representation level, isolating the variation related to the principal task into an isolated subspace and additionally producing an arbitrary number of orthogonal subspaces, each one of them encouraging high separability among the projections. We generate the auxiliary classification task through a clustering procedure on the most disentangled subspace, obtaining a discrete set of labels. Subsequently, the original data, the labels associated with the principal task, and the newly discovered ones can be fed into any MTL framework. Experimental validation on both synthetic and real data, along with various ablation studies, demonstrate promising results, revealing the potential in what has been, so far, an unexplored connection between learning disentangled representations and MTL. The source code will be made available upon acceptance.
- Abstract（参考訳）: 補助的なタスクは、データが乏しい、あるいは焦点の主タスクが極めて複雑である状況での学習を容易にする。
このアイデアは、主に複数のタスクを同時に解くことによって引き起こされる一般化能力の改善に触発され、より堅牢な共有表現へと導かれる。
それでも、最適な補助タスクを見つけることは、手作りのソリューションや高価なメタ学習アプローチを必要とすることが多い重要な問題である。
本稿では,Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関係な新たな補助的分類タスクの発見に,弱い教師付き不整合処理を用いて,STL(Single-Task Learning)からMulti-Task Learning(MTL)問題へ移行することができる。
切り離し手順は表現レベルで機能し、主タスクに関連する変動を孤立部分空間に分離し、さらに任意の数の直交部分空間を生成し、それぞれが射影間の高い分離性を促進する。
我々は、最も不整合な部分空間上のクラスタリング手順によって補助的な分類タスクを生成し、ラベルの離散的な集合を得る。
その後、元のデータ、プリンシパルタスクに関連するラベル、新たに発見されたラベルを任意のMTLフレームワークに入力することができる。
合成データと実データの両方に対する実験的検証は、様々なアブレーション研究とともに、有望な結果を示し、これまで、学習不整合表現とMLLの間の未探索の関連性を明らかにした。
ソースコードは受理時に利用可能になる。
関連論文リスト
- Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels [27.53399899573121]
本稿では,強化学習の探索能力と教師あり学習の活用能力を組み合わせたRLベースのフレームワークを提案する。
文書レベルの関係抽出を含む各種タスクに対する実験結果から,フレームワークの一般化と有効性を示す。
論文 参考訳（メタデータ） (2024-06-24T03:36:19Z) - Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。
AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
論文 参考訳（メタデータ） (2024-05-22T20:29:15Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Generalization with Lossy Affordances: Leveraging Broad Offline Data for
Learning Visuomotor Tasks [65.23947618404046]
本研究では,広範囲なデータを用いたオフライン強化学習を通じて,時間的拡張タスクの目標条件付きポリシを取得するフレームワークを提案する。
新たなタスク目標に直面した場合、フレームワークは余裕モデルを使用して、元のタスクをより簡単な問題に分解するサブゴールとして、損失のある表現のシーケンスを計画する。
我々は,従来の作業からロボット体験の大規模データセットを事前学習し,手動の報酬工学を使わずに視覚入力から,新しいタスクを効率的に微調整できることを実証した。
論文 参考訳（メタデータ） (2022-10-12T21:46:38Z) - A Multi-label Continual Learning Framework to Scale Deep Learning
Approaches for Packaging Equipment Monitoring [57.5099555438223]
連続シナリオにおけるマルチラベル分類を初めて研究した。
タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。
我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
論文 参考訳（メタデータ） (2022-08-08T15:58:39Z) - Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big
Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。
本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。
実験により, 現状のアプローチと比較し, その有効性を示した。
論文 参考訳（メタデータ） (2022-01-07T02:46:47Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。
MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。
多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
論文 参考訳（メタデータ） (2021-09-29T19:17:05Z) - Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
論文 参考訳（メタデータ） (2020-09-17T07:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。