論文の概要: Flatness Improves Backbone Generalisation in Few-shot Classification
- arxiv url: http://arxiv.org/abs/2404.07696v1
- Date: Thu, 11 Apr 2024 12:42:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:59:46.727006
- Title: Flatness Improves Backbone Generalisation in Few-shot Classification
- Title(参考訳): Few-shot 分類における背骨一般化の平坦性改善
- Authors: Rui Li, Martin Trapp, Marcus Klasson, Arno Solin,
- Abstract要約: FSC(Few-shot Classification)は、トレーニング済みのバックボーンを活用して、新しいクラスに迅速に適応するソリューションを提供する。
バニラファインチューニングによる平坦性を考慮したバックボーントレーニングは,最先端のベースラインよりもシンプルで競争力のあるベースラインとなることを示す。
- 参考スコア(独自算出の注目度): 16.061370232443988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deployment of deep neural networks in real-world settings typically requires adaptation to new tasks with few examples. Few-shot classification (FSC) provides a solution to this problem by leveraging pre-trained backbones for fast adaptation to new classes. Surprisingly, most efforts have only focused on developing architectures for easing the adaptation to the target domain without considering the importance of backbone training for good generalisation. We show that flatness-aware backbone training with vanilla fine-tuning results in a simpler yet competitive baseline compared to the state-of-the-art. Our results indicate that for in- and cross-domain FSC, backbone training is crucial to achieving good generalisation across different adaptation methods. We advocate more care should be taken when training these models.
- Abstract(参考訳): 現実世界の設定にディープニューラルネットワークを配置するには、通常、いくつかの例で新しいタスクに適応する必要がある。
FSC(Few-shot Classification)は、トレーニング済みのバックボーンを利用して新しいクラスに迅速に適応することで、この問題に対する解決策を提供する。
驚くべきことに、ほとんどの取り組みは、適切な一般化のためのバックボーントレーニングの重要性を考慮せずに、ターゲットドメインへの適応を緩和するためのアーキテクチャの開発にのみ焦点を当てている。
バニラファインチューニングによる平坦性を考慮したバックボーントレーニングは,最先端のベースラインよりもシンプルで競争力のあるベースラインとなることを示す。
本研究は, 内領域とクロスドメイン領域のFSCにおいて, バックボーントレーニングが, 適応法にまたがる優れた一般化を実現する上で重要であることを示唆する。
これらのモデルをトレーニングする際には、もっと注意すべきである、と私たちは主張する。
関連論文リスト
- Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。
具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。
実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-02-22T12:55:01Z) - Read-only Prompt Optimization for Vision-Language Few-shot Learning [20.66798356082751]
学習可能なプロンプトは、自己アテンションモジュールの内部表現に影響を与える可能性がある。
本稿では,リードオンリーのプロンプト最適化(RPO)を提案する。
実験により, RPOはCLIPとCoCoOpより, ベース・ツー・ニューな一般化とドメインの一般化に優れることが示された。
論文 参考訳(メタデータ) (2023-08-29T01:22:30Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Adaptive Fine-Grained Sketch-Based Image Retrieval [100.90633284767205]
最近のファイングレード・スケッチに基づく画像検索は、モデルから新しいカテゴリへの一般化へとシフトしている。
実世界のアプリケーションでは、トレーニングされたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチラーの両方に適用されることが多い。
モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-04T21:07:20Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - More Is More -- Narrowing the Generalization Gap by Adding
Classification Heads [8.883733362171032]
我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。
私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
論文 参考訳(メタデータ) (2021-02-09T16:30:33Z) - Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。
この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
論文 参考訳(メタデータ) (2020-12-07T08:09:02Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。