論文の概要: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- arxiv url: http://arxiv.org/abs/2310.09278v1
- Date: Fri, 13 Oct 2023 17:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 11:40:46.781339
- Title: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
- Title（参考訳）: データ駆動補助学習を支援する不連続潜在空間
- Authors: Geri Skenderi, Luigi Capogrosso, Andrea Toaiari, Matteo Denitto,
Franco Fummi, Simone Melzi, Marco Cristani
- Abstract要約: ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。
Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
- 参考スコア（独自算出の注目度）: 15.41342100228504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In deep learning, auxiliary objectives are often used to facilitate learning
in situations where data is scarce, or the principal task is extremely complex.
This idea is primarily inspired by the improved generalization capability
induced by solving multiple tasks simultaneously, which leads to a more robust
shared representation. Nevertheless, finding optimal auxiliary tasks that give
rise to the desired improvement is a crucial problem that often requires
hand-crafted solutions or expensive meta-learning approaches. In this paper, we
propose a novel framework, dubbed Detaux, whereby a weakly supervised
disentanglement procedure is used to discover new unrelated classification
tasks and the associated labels that can be exploited with the principal task
in any Multi-Task Learning (MTL) model. The disentanglement procedure works at
a representation level, isolating a subspace related to the principal task,
plus an arbitrary number of orthogonal subspaces. In the most disentangled
subspaces, through a clustering procedure, we generate the additional
classification tasks, and the associated labels become their representatives.
Subsequently, the original data, the labels associated with the principal task,
and the newly discovered ones can be fed into any MTL framework. Extensive
validation on both synthetic and real data, along with various ablation
studies, demonstrate promising results, revealing the potential in what has
been, so far, an unexplored connection between learning disentangled
representations and MTL. The code will be made publicly available upon
acceptance.
- Abstract（参考訳）: 深層学習では、データ不足や主課題が極めて複雑である状況において、補助的な目的が学習を容易にするためにしばしば用いられる。
このアイデアは、主に複数のタスクを同時に解決することで引き起こされる一般化能力の改善に触発され、より堅牢な共有表現に繋がる。
それでも、望ましい改善をもたらす最適な補助タスクを見つけることは、しばしば手作りのソリューションや高価なメタラーニングアプローチを必要とする重要な問題である。
本稿では,マルチタスク学習 (mtl) モデルにおいて,新しい非関連分類タスクと関連するラベルを発見するために,弱い教師付き不等角化手順を用いた新しい枠組み detaux を提案する。
不等角化手順は表現レベルで動作し、主タスクに関連する部分空間と任意の数の直交部分空間を分離する。
最も不連続な部分空間では、クラスタリング手順を通じて、追加の分類タスクを生成し、関連するラベルを代表とします。
その後、元のデータ、主タスクに関連するラベル、新たに発見されたラベルを任意のMTLフレームワークに入力することができる。
合成データと実データの両方に関する広範囲な検証と様々なアブレーション研究の結果が示され、これまでのところ、不連続表現の学習とmtlの関連性が明らかにされている。
コードは受理次第公開される予定だ。
関連論文リスト
- Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution [23.375053899418504]
複雑なソースタスクから凍結表現を探索する代わりに、複数の単純なソースタスクから1つのターゲットタスクへの埋め込みの有効性について検討する。
この結果,タスクの埋め込みは,意味的類似性タスクが最も有益であることが示され,コア参照の解決に大いに有用であることが判明した。
論文 参考訳（メタデータ） (2025-01-31T17:12:53Z) - Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。
AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
論文 参考訳（メタデータ） (2024-05-22T20:29:15Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big
Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。
本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。
実験により, 現状のアプローチと比較し, その有効性を示した。
論文 参考訳（メタデータ） (2022-01-07T02:46:47Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Pareto Self-Supervised Training for Few-Shot Learning [5.6715399725748155]
少数の補助学習は最近少数の分類されたデータを扱うために多くの注意を引き付けました。
タスクのバランスとタスクの衝突を減らすために適切な重みを選択することは難しい。
論文 参考訳（メタデータ） (2021-04-16T01:26:25Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。