論文の概要: What Matters For Meta-Learning Vision Regression Tasks?
- arxiv url: http://arxiv.org/abs/2203.04905v1
- Date: Wed, 9 Mar 2022 17:28:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 14:26:30.029682
- Title: What Matters For Meta-Learning Vision Regression Tasks?
- Title（参考訳）: メタラーニングのビジョン回帰タスクで何が重要か?
- Authors: Ning Gao, Hanna Ziesche, Ngo Anh Vien, Michael Volpp, Gerhard Neumann
- Abstract要約: 本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。
まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。
第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
- 参考スコア（独自算出の注目度）: 19.373532562905208
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Meta-learning is widely used in few-shot classification and function
regression due to its ability to quickly adapt to unseen tasks. However, it has
not yet been well explored on regression tasks with high dimensional inputs
such as images. This paper makes two main contributions that help understand
this barely explored area. \emph{First}, we design two new types of
cross-category level vision regression tasks, namely object discovery and pose
estimation of unprecedented complexity in the meta-learning domain for computer
vision. To this end, we (i) exhaustively evaluate common meta-learning
techniques on these tasks, and (ii) quantitatively analyze the effect of
various deep learning techniques commonly used in recent meta-learning
algorithms in order to strengthen the generalization capability: data
augmentation, domain randomization, task augmentation and meta-regularization.
Finally, we (iii) provide some insights and practical recommendations for
training meta-learning algorithms on vision regression tasks. \emph{Second}, we
propose the addition of functional contrastive learning (FCL) over the task
representations in Conditional Neural Processes (CNPs) and train in an
end-to-end fashion. The experimental results show that the results of prior
work are misleading as a consequence of a poor choice of the loss function as
well as too small meta-training sets. Specifically, we find that CNPs
outperform MAML on most tasks without fine-tuning. Furthermore, we observe that
naive task augmentation without a tailored design results in underfitting.
- Abstract（参考訳）: メタラーニングは、目に見えないタスクに迅速に適応できるため、少数ショットの分類と機能回帰に広く使われている。
しかし、画像などの高次元入力を伴う回帰タスクについては、まだ十分に研究されていない。
本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。
コンピュータビジョンのためのメタラーニング領域における、前例のない複雑性の予測と物体発見という2つの新しいタイプのクロスカテゴリレベルのビジョン回帰タスクを設計した。
この目的のためには
(i)これらの課題における共通メタラーニング手法を徹底的に評価し、
2)近年のメタ学習アルゴリズムでは,データ拡張,ドメインランダム化,タスク拡張,メタ正規化など,様々な深層学習技術が一般化能力に与える影響を定量的に分析する。
最後に
(iii)視覚回帰タスクでメタラーニングアルゴリズムをトレーニングするための洞察と実践的推奨を提供する。
本稿では,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
実験の結果, 損失関数の選択が不十分な結果, メタトレーニングセットが小さすぎることから, 先行研究の結果が誤解を招くことが明らかとなった。
具体的には、CNPは微調整なしで、ほとんどのタスクにおいてMAMLより優れています。
さらに,仕立て設計を伴わない単調なタスク拡張が不適合になることも観察した。
関連論文リスト
- Rethinking Meta-Learning from a Learning Lens [17.00587250127854]
我々は、メタ学習の戦略を学ぶためのより基本的な学習に焦点を当て、環境を変えることなく、エラーの原因とこれらのエラーの除去方法を探る。
本稿では,メタ学習の最適化プロセスに対するタスク関係の利用を提案し,その目的を達成するために,TRLearner(Task Relation Learner)と呼ばれるプラグアンドプレイ手法を提案する。
論文 参考訳（メタデータ） (2024-09-13T02:00:16Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。
マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
論文 参考訳（メタデータ） (2022-06-07T13:24:00Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
論文 参考訳（メタデータ） (2021-12-24T20:18:38Z) - Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。
タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。
メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
論文 参考訳（メタデータ） (2021-10-26T22:16:35Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。