論文の概要: Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone
fine-tuning without episodic meta-learning dominates for few-shot learning
image classification
- arxiv url: http://arxiv.org/abs/2206.08138v1
- Date: Wed, 15 Jun 2022 10:27:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 14:09:36.469190
- Title: Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone
fine-tuning without episodic meta-learning dominates for few-shot learning
image classification
- Title（参考訳）: NeurIPS 2021 MetaDLチャレンジから学んだ教訓: エピソードなメタラーニングを伴わないバックボーン微調整は、数ショットの学習画像分類において支配的である
- Authors: Adrian El Baz, Andr\'e Carvalho, Hong Chen, Fabio Ferreira, Henry
Gouk, Shell Hu, Frank Hutter, Zhengying Liu, Felix Mohr, Jan van Rijn, Xin
Wang, Isabelle Guyon (TAU, LISN)
- Abstract要約: 本稿では,MetaDLコンペティションシリーズの設計,データセット,最良の実験結果,NeurIPS 2021チャレンジにおける最上位の手法について述べる。
トップ参加者のソリューションがオープンソース化された。
- 参考スコア（独自算出の注目度）: 40.901760230639496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although deep neural networks are capable of achieving performance superior
to humans on various tasks, they are notorious for requiring large amounts of
data and computing resources, restricting their success to domains where such
resources are available. Metalearning methods can address this problem by
transferring knowledge from related tasks, thus reducing the amount of data and
computing resources needed to learn new tasks. We organize the MetaDL
competition series, which provide opportunities for research groups all over
the world to create and experimentally assess new meta-(deep)learning solutions
for real problems. In this paper, authored collaboratively between the
competition organizers and the top-ranked participants, we describe the design
of the competition, the datasets, the best experimental results, as well as the
top-ranked methods in the NeurIPS 2021 challenge, which attracted 15 active
teams who made it to the final phase (by outperforming the baseline), making
over 100 code submissions during the feedback phase. The solutions of the top
participants have been open-sourced. The lessons learned include that learning
good representations is essential for effective transfer learning.
- Abstract（参考訳）: ディープニューラルネットワークは、さまざまなタスクにおいて人間よりも優れたパフォーマンスを実現することができるが、大量のデータと計算リソースを必要とすることで悪名高く、そのようなリソースが利用可能なドメインにその成功を制限している。
メタラーニング手法は、関連するタスクから知識を転送することでこの問題に対処し、新しいタスクを学ぶのに必要なデータ量と計算リソースを減らすことができる。
メタDLコンペティションシリーズを組織し、世界中の研究グループが実際の問題に対する新しいメタ(深層)学習ソリューションを作成し、実験的に評価する機会を提供する。
本稿では,コンペティション主催者とトップクラスの参加者とのコラボレーションにより,コンペティションの設計,データセット,最高の実験結果,そして,最終段階(ベースラインを上回って)に到達した15のアクティブチームを引き付けるneurips 2021 challengeにおけるトップランクのメソッドについて述べる。
トップ参加者のソリューションがオープンソース化された。
学んだ教訓は、優れた表現の学習は効果的な転校学習に不可欠であるということである。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - NLP-LTU at SemEval-2023 Task 10: The Impact of Data Augmentation and
Semi-Supervised Learning Techniques on Text Classification Performance on an
Imbalanced Dataset [1.3445335428144554]
本稿では、ソーシャルメディア投稿におけるオンライン性差別の検出と分類に焦点を当てたSemEval23のタスク10の方法論を提案する。
この課題に対する我々の解決策は、細調整されたトランスフォーマーベースモデルのアンサンブルに基づいている。
論文 参考訳（メタデータ） (2023-04-25T14:19:46Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - NeurIPS'22 Cross-Domain MetaDL competition: Design and baseline results [0.0]
我々は,NeurIPS'22で受理されたChaLearnメタラーニングシリーズにおいて,新しい課題に対する設計とベースラインの結果を示す。
このコンペティションでは、参加者が様々なドメインから引き出された"あらゆる方向"と"あらゆるショット"の問題を解決するよう挑戦する。
論文 参考訳（メタデータ） (2022-08-31T08:31:02Z) - Continual Prune-and-Select: Class-incremental learning with specialized
subnetworks [66.4795381419701]
CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。
これは、クラス増分学習における第一級の結果である。
論文 参考訳（メタデータ） (2022-08-09T10:49:40Z) - Retrospective on the 2021 BASALT Competition on Learning from Human
Feedback [92.37243979045817]
競争の目的は、人間のフィードバック(LfHF)技術から学び、オープンワールドの課題を解決するエージェントへの研究を促進することであった。
LfHF技術の使用を義務付けるのではなく、ビデオゲームMinecraftで達成すべき自然言語の4つのタスクについて説明した。
チームは、様々な可能な人間のフィードバックタイプにまたがる多様なLfHFアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-04-14T17:24:54Z) - Advances in MetaDL: AAAI 2021 challenge and workshop [0.0]
本稿では,課題の設計とその成果について述べるとともに,ワークショップで行ったプレゼンテーションを要約する。
この課題は、小さな画像の少人数の学習分類タスクに焦点をあてた。
勝利の方法は、人気のあるCNNバックボーンの2番目の層でトレーニングされた様々な分類器を備え、メタトレーニングデータに基づいて微調整され、ラベル付きサポートでトレーニングされ、メタテストデータのラベル付きクエリセットでテストされた。
論文 参考訳（メタデータ） (2022-02-01T07:46:36Z) - ZeroVL: A Strong Baseline for Aligning Vision-Language Representations
with Limited Resources [13.30815073857842]
我々は、限られたリソースでデュアルエンコーダのマルチモーダル表現アライメントを行うための総合的なトレーニングガイダンスを提供する。
事前学習のために1億のWebデータを収集し、最先端の手法に匹敵する、あるいは優れた結果を得る。
私たちのコードと事前訓練されたモデルは、研究コミュニティを促進するためにリリースされます。
論文 参考訳（メタデータ） (2021-12-17T05:40:28Z) - The MineRL 2020 Competition on Sample Efficient Reinforcement Learning
using Human Priors [62.9301667732188]
我々は,MineRLコンペティションの第2イテレーションを提案する。
競争の主な目標は、人間のデモンストレーションを効率的に活用できるアルゴリズムの開発を促進することです。
コンペティションは、データセットと環境のペアバージョンが複数提供される2ラウンドで構成されている。
各ラウンドの終わりに、競合他社はコンテナ化された学習アルゴリズムをaicrowdプラットフォームに提出する。
論文 参考訳（メタデータ） (2021-01-26T20:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。