論文の概要: Interval Bound Interpolation for Few-shot Learning with Few Tasks
- arxiv url: http://arxiv.org/abs/2204.03511v4
- Date: Sun, 7 May 2023 18:15:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 01:02:56.319617
- Title: Interval Bound Interpolation for Few-shot Learning with Few Tasks
- Title（参考訳）: タスク数が少ない小ショット学習のための区間境界補間法
- Authors: Shounak Datta, Sankha Subhra Mullick, Anish Chakrabarty, Swagatam Das
- Abstract要約: 少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。
そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。
次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
- 参考スコア（独自算出の注目度）: 15.85259386116784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning aims to transfer the knowledge acquired from training on a
diverse set of tasks to unseen tasks from the same task distribution with a
limited amount of labeled data. The underlying requirement for effective
few-shot generalization is to learn a good representation of the task manifold.
This becomes more difficult when only a limited number of tasks are available
for training. In such a few-task few-shot setting, it is beneficial to
explicitly preserve the local neighborhoods from the task manifold and exploit
this to generate artificial tasks for training. To this end, we introduce the
notion of interval bounds from the provably robust training literature to
few-shot learning. The interval bounds are used to characterize neighborhoods
around the training tasks. These neighborhoods can then be preserved by
minimizing the distance between a task and its respective bounds. We then use a
novel strategy to artificially form new tasks for training by interpolating
between the available tasks and their respective interval bounds. We apply our
framework to both model-agnostic meta-learning as well as prototype-based
metric-learning paradigms. The efficacy of our proposed approach is evident
from the improved performance on several datasets from diverse domains compared
to current methods.
- Abstract（参考訳）: 少数ショット学習は、さまざまなタスクのトレーニングから得られた知識を、ラベル付きデータの限られた量で同じタスク分散から未発見のタスクに移すことを目的としている。
効果的な少数ショット一般化の基本的な要件は、タスク多様体のよい表現を学ぶことである。
限られた数のタスクしかトレーニングできない場合、これはより難しくなります。
このような少数タスクの少数ショット設定では、タスク多様体から局所的な近傍を明示的に保存し、これを利用してトレーニングのための人工的なタスクを生成することが有益である。
そこで本研究では,頑健な学習文献から少人数学習への区間境界の概念を導入する。
インターバルバウンダリは、トレーニングタスクの周辺を特徴付けるために使用される。
これらの近傍はタスクとそれぞれの境界の間の距離を最小化することで保存することができる。
次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
このフレームワークをモデルに依存しないメタラーニングとプロトタイプベースのメトリックラーニングの両方に適用する。
提案手法の有効性は,従来の手法と比較して,様々な分野のデータセットの性能が向上していることから明らかである。
関連論文リスト
- $α$VIL: Learning to Leverage Auxiliary Tasks for Multitask Learning [3.809702129519642]
マルチタスク学習は、共有モデルの助けを借りて、さまざまな(通常は関連する)タスクをトレーニングすることを目的としている。
目標に有する正あるいは負の影響を推定することが重要である。
本稿では,モデル学習中にタスク重みを動的に調整できる「$alpha$Variable Learning」(「alpha$VIL」)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-13T14:12:33Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Derivative Free Weight-space Ensembling [0.0]
本稿では,オープンドメイン対話のための数サンプルタスク転送手法であるDFWEを紹介する。
対象タスクのエキスパートモデルをそれぞれ微調整し、複数の異なる知識ベースから目標タスクにアプローチする。
勾配自由度最適化アルゴリズムを用いてモデルの重み付けを線形に補間し,より効率的な重み付けを求める。
論文 参考訳（メタデータ） (2023-07-07T10:42:44Z) - ImpressLearn: Continual Learning via Combined Task Impressions [0.0]
本研究は、破滅的な忘れを苦しめることなく、複数のタスクでディープニューラルネットワークを逐次訓練する新しい手法を提案する。
ランダムなバックボーンネットワーク上で少数のタスク固有のマスクの線形結合を学習するだけで、以前に学習したタスクの精度を維持したり、新しいタスクの精度を高めることができることを示す。
論文 参考訳（メタデータ） (2022-10-05T02:28:25Z) - Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。
様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文 参考訳（メタデータ） (2022-05-20T06:53:03Z) - Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。
本稿では,タスク関係を利用したマルチタスク学習手法を提案する。
提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
論文 参考訳（メタデータ） (2021-11-29T19:03:12Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。