論文の概要: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- arxiv url: http://arxiv.org/abs/2310.09278v1
- Date: Fri, 13 Oct 2023 17:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 11:40:46.781339
- Title: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- Title（参考訳）: データ駆動補助学習を支援する不連続潜在空間
- Authors: Geri Skenderi, Luigi Capogrosso, Andrea Toaiari, Matteo Denitto,
Franco Fummi, Simone Melzi, Marco Cristani
- Abstract要約: ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。
Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
- 参考スコア（独自算出の注目度）: 15.41342100228504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In deep learning, auxiliary objectives are often used to facilitate learning
in situations where data is scarce, or the principal task is extremely complex.
This idea is primarily inspired by the improved generalization capability
induced by solving multiple tasks simultaneously, which leads to a more robust
shared representation. Nevertheless, finding optimal auxiliary tasks that give
rise to the desired improvement is a crucial problem that often requires
hand-crafted solutions or expensive meta-learning approaches. In this paper, we
propose a novel framework, dubbed Detaux, whereby a weakly supervised
disentanglement procedure is used to discover new unrelated classification
tasks and the associated labels that can be exploited with the principal task
in any Multi-Task Learning (MTL) model. The disentanglement procedure works at
a representation level, isolating a subspace related to the principal task,
plus an arbitrary number of orthogonal subspaces. In the most disentangled
subspaces, through a clustering procedure, we generate the additional
classification tasks, and the associated labels become their representatives.
Subsequently, the original data, the labels associated with the principal task,
and the newly discovered ones can be fed into any MTL framework. Extensive
validation on both synthetic and real data, along with various ablation
studies, demonstrate promising results, revealing the potential in what has
been, so far, an unexplored connection between learning disentangled
representations and MTL. The code will be made publicly available upon
acceptance.
- Abstract（参考訳）: 深層学習では、データ不足や主課題が極めて複雑である状況において、補助的な目的が学習を容易にするためにしばしば用いられる。
このアイデアは、主に複数のタスクを同時に解決することで引き起こされる一般化能力の改善に触発され、より堅牢な共有表現に繋がる。
それでも、望ましい改善をもたらす最適な補助タスクを見つけることは、しばしば手作りのソリューションや高価なメタラーニングアプローチを必要とする重要な問題である。
本稿では,マルチタスク学習 (mtl) モデルにおいて,新しい非関連分類タスクと関連するラベルを発見するために,弱い教師付き不等角化手順を用いた新しい枠組み detaux を提案する。
不等角化手順は表現レベルで動作し、主タスクに関連する部分空間と任意の数の直交部分空間を分離する。
最も不連続な部分空間では、クラスタリング手順を通じて、追加の分類タスクを生成し、関連するラベルを代表とします。
その後、元のデータ、主タスクに関連するラベル、新たに発見されたラベルを任意のMTLフレームワークに入力することができる。
合成データと実データの両方に関する広範囲な検証と様々なアブレーション研究の結果が示され、これまでのところ、不連続表現の学習とmtlの関連性が明らかにされている。
コードは受理次第公開される予定だ。
関連論文リスト
- Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels [27.53399899573121]
本稿では,強化学習の探索能力と教師あり学習の活用能力を組み合わせたRLベースのフレームワークを提案する。
文書レベルの関係抽出を含む各種タスクに対する実験結果から,フレームワークの一般化と有効性を示す。
論文 参考訳（メタデータ） (2024-06-24T03:36:19Z) - Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。
AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
論文 参考訳（メタデータ） (2024-05-22T20:29:15Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Generalization with Lossy Affordances: Leveraging Broad Offline Data for
Learning Visuomotor Tasks [65.23947618404046]
本研究では,広範囲なデータを用いたオフライン強化学習を通じて,時間的拡張タスクの目標条件付きポリシを取得するフレームワークを提案する。
新たなタスク目標に直面した場合、フレームワークは余裕モデルを使用して、元のタスクをより簡単な問題に分解するサブゴールとして、損失のある表現のシーケンスを計画する。
我々は,従来の作業からロボット体験の大規模データセットを事前学習し,手動の報酬工学を使わずに視覚入力から,新しいタスクを効率的に微調整できることを実証した。
論文 参考訳（メタデータ） (2022-10-12T21:46:38Z) - A Multi-label Continual Learning Framework to Scale Deep Learning
Approaches for Packaging Equipment Monitoring [57.5099555438223]
連続シナリオにおけるマルチラベル分類を初めて研究した。
タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。
我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
論文 参考訳（メタデータ） (2022-08-08T15:58:39Z) - Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big
Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。
本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。
実験により, 現状のアプローチと比較し, その有効性を示した。
論文 参考訳（メタデータ） (2022-01-07T02:46:47Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。
MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。
多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
論文 参考訳（メタデータ） (2021-09-29T19:17:05Z) - Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
論文 参考訳（メタデータ） (2020-09-17T07:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。