論文の概要: Pareto Self-Supervised Training for Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2104.07841v1
- Date: Fri, 16 Apr 2021 01:26:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 14:23:29.017951
- Title: Pareto Self-Supervised Training for Few-Shot Learning
- Title(参考訳): ファウショット学習のためのPareto Self-Supervised Training
- Authors: Zhengyu Chen, Jixie Ge, Heshen Zhan, Siteng Huang, Donglin Wang
- Abstract要約: 少数の補助学習は最近少数の分類されたデータを扱うために多くの注意を引き付けました。
タスクのバランスとタスクの衝突を減らすために適切な重みを選択することは難しい。
- 参考スコア(独自算出の注目度): 5.6715399725748155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While few-shot learning (FSL) aims for rapid generalization to new concepts
with little supervision, self-supervised learning (SSL) constructs supervisory
signals directly computed from unlabeled data. Exploiting the complementarity
of these two manners, few-shot auxiliary learning has recently drawn much
attention to deal with few labeled data. Previous works benefit from sharing
inductive bias between the main task (FSL) and auxiliary tasks (SSL), where the
shared parameters of tasks are optimized by minimizing a linear combination of
task losses. However, it is challenging to select a proper weight to balance
tasks and reduce task conflict. To handle the problem as a whole, we propose a
novel approach named as Pareto self-supervised training (PSST) for FSL. PSST
explicitly decomposes the few-shot auxiliary problem into multiple constrained
multi-objective subproblems with different trade-off preferences, and here a
preference region in which the main task achieves the best performance is
identified. Then, an effective preferred Pareto exploration is proposed to find
a set of optimal solutions in such a preference region. Extensive experiments
on several public benchmark datasets validate the effectiveness of our approach
by achieving state-of-the-art performance.
- Abstract(参考訳): 少数ショット学習(FSL)は、監督の少ない新しい概念への迅速な一般化を目的としているが、自己監督学習(SSL)は、ラベルなしデータから直接計算される監視信号を構成する。
この2つの方法の相補性を駆使して、最近、少数のラベル付きデータを扱うために、少数の補助学習が注目されている。
従来の作業は、メインタスク(FSL)と補助タスク(SSL)間で帰納バイアスを共有することの恩恵を受けており、タスクの損失の線形結合を最小限にすることでタスクの共有パラメータを最適化する。
しかし、タスクのバランスとタスクの衝突を減らすために適切な重みを選択することは困難である。
そこで本研究では,FSLのためのPSST(Pareto Self-supervised Training)という新しい手法を提案する。
psstは、マイショット補助問題を、トレードオフ選択の異なる複数の制約付き多目的部分問題に明示的に分解し、ここで、メインタスクが最高の性能を達成する選好領域を特定する。
次に,このような選好領域において最適な解の組を求めるために,有効なpareto探索を提案する。
いくつかの公開ベンチマークデータセットに対する大規模な実験は、最先端のパフォーマンスを達成することによって、我々のアプローチの有効性を検証する。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Task Selection and Assignment for Multi-modal Multi-task Dialogue Act
Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。
これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。
本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
論文 参考訳(メタデータ) (2023-09-18T14:51:51Z) - Auxiliary Learning as an Asymmetric Bargaining Game [50.826710465264505]
補助学習におけるタスクのバランスをとるために,AuxiNashという新しい手法を提案する。
本報告では,主課題の性能に対する貢献に基づいて,タスクの獲得能力を学ぶための効率的な手順について述べる。
複数のマルチタスクベンチマークでAuxiNashを評価し、競合する手法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-01-31T09:41:39Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳(メタデータ) (2022-10-18T11:20:54Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳(メタデータ) (2022-02-02T13:21:53Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - A Simple General Approach to Balance Task Difficulty in Multi-Task
Learning [4.531240717484252]
マルチタスク学習では、異なるタスクの難易度が異なる。
本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。
提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
論文 参考訳(メタデータ) (2020-02-12T04:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。