論文の概要: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning

• arxiv url: http://arxiv.org/abs/2310.09278v2
• Date: Fri, 29 Nov 2024 12:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:15:53.868053
• Title: Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning
• Title（参考訳）: データ駆動補助学習を支援する不整合潜在空間
• Authors: Geri Skenderi, Luigi Capogrosso, Andrea Toaiari, Matteo Denitto, Franco Fummi, Simone Melzi, Marco Cristani,
• Abstract要約: 補助的なタスクは、データが乏しい、あるいは焦点の主タスクが極めて複雑である状況での学習を容易にする。 Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関連性のある新たな補助的分類タスクを見つけるために,弱い教師付き逆絡手順が使用される。 我々は、最も不整合な部分空間上のクラスタリング手順によって補助的な分類タスクを生成し、ラベルの離散的な集合を得る。
• 参考スコア（独自算出の注目度）: 14.677411619418319
• License:
• Abstract: Auxiliary tasks facilitate learning in situations when data is scarce or the principal task of focus is extremely complex. This idea is primarily inspired by the improved generalization capability induced by solving multiple tasks simultaneously, which leads to a more robust shared representation. Nevertheless, finding optimal auxiliary tasks is a crucial problem that often requires hand-crafted solutions or expensive meta-learning approaches. In this paper, we propose a novel framework, dubbed Detaux, whereby a weakly supervised disentanglement procedure is used to discover a new unrelated auxiliary classification task, which allows us to go from a Single-Task Learning (STL) to a Multi-Task Learning (MTL) problem. The disentanglement procedure works at the representation level, isolating the variation related to the principal task into an isolated subspace and additionally producing an arbitrary number of orthogonal subspaces, each one of them encouraging high separability among the projections. We generate the auxiliary classification task through a clustering procedure on the most disentangled subspace, obtaining a discrete set of labels. Subsequently, the original data, the labels associated with the principal task, and the newly discovered ones can be fed into any MTL framework. Experimental validation on both synthetic and real data, along with various ablation studies, demonstrate promising results, revealing the potential in what has been, so far, an unexplored connection between learning disentangled representations and MTL. The source code will be made available upon acceptance.
• Abstract（参考訳）: 補助的なタスクは、データが乏しい、あるいは焦点の主タスクが極めて複雑である状況での学習を容易にする。 このアイデアは、主に複数のタスクを同時に解くことによって引き起こされる一般化能力の改善に触発され、より堅牢な共有表現へと導かれる。 それでも、最適な補助タスクを見つけることは、手作りのソリューションや高価なメタ学習アプローチを必要とすることが多い重要な問題である。 本稿では,Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関係な新たな補助的分類タスクの発見に,弱い教師付き不整合処理を用いて,STL(Single-Task Learning)からMulti-Task Learning(MTL)問題へ移行することができる。 切り離し手順は表現レベルで機能し、主タスクに関連する変動を孤立部分空間に分離し、さらに任意の数の直交部分空間を生成し、それぞれが射影間の高い分離性を促進する。 我々は、最も不整合な部分空間上のクラスタリング手順によって補助的な分類タスクを生成し、ラベルの離散的な集合を得る。 その後、元のデータ、プリンシパルタスクに関連するラベル、新たに発見されたラベルを任意のMTLフレームワークに入力することができる。 合成データと実データの両方に対する実験的検証は、様々なアブレーション研究とともに、有望な結果を示し、これまで、学習不整合表現とMLLの間の未探索の関連性を明らかにした。 ソースコードは受理時に利用可能になる。

関連論文リスト

• Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution [23.375053899418504]
  複雑なソースタスクから凍結表現を探索する代わりに、複数の単純なソースタスクから1つのターゲットタスクへの埋め込みの有効性について検討する。 この結果,タスクの埋め込みは,意味的類似性タスクが最も有益であることが示され,コア参照の解決に大いに有用であることが判明した。
  論文  参考訳（メタデータ） (2025-01-31T17:12:53Z)
• Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
  Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。 AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
  論文  参考訳（メタデータ） (2024-05-22T20:29:15Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task [24.618094251341958]
  マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。 本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。 実験により, 現状のアプローチと比較し, その有効性を示した。
  論文  参考訳（メタデータ） (2022-01-07T02:46:47Z)
• Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors [52.37504333689262]
  単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。 補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-12-02T08:40:42Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Pareto Self-Supervised Training for Few-Shot Learning [5.6715399725748155]
  少数の補助学習は最近少数の分類されたデータを扱うために多くの注意を引き付けました。 タスクのバランスとタスクの衝突を減らすために適切な重みを選択することは難しい。
  論文  参考訳（メタデータ） (2021-04-16T01:26:25Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。