論文の概要: Flatness Improves Backbone Generalisation in Few-shot Classification

• arxiv url: http://arxiv.org/abs/2404.07696v2
• Date: Tue, 18 Mar 2025 11:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 16:29:09.649393
• Title: Flatness Improves Backbone Generalisation in Few-shot Classification
• Title（参考訳）: Few-shot 分類における背骨一般化の平坦性改善
• Authors: Rui Li, Martin Trapp, Marcus Klasson, Arno Solin,
• Abstract要約: FSC(Few-shot Classification)は、トレーニング済みのバックボーンを利用して新しいクラスに迅速に適応することで、この問題に対する解決策を提供する。 フラットネスを意識したトレーニングと微調整を利用して,マルチドメインFSCにおけるバックボーントレーニングと選択のための効果的な戦略を提案する。
• 参考スコア（独自算出の注目度）: 16.061370232443988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deployment of deep neural networks in real-world settings typically requires adaptation to new tasks with few examples. Few-shot classification (FSC) provides a solution to this problem by leveraging pre-trained backbones for fast adaptation to new classes. However, approaches for multi-domain FSC typically result in complex pipelines aimed at information fusion and task-specific adaptation without consideration of the importance of backbone training. In this work, we introduce an effective strategy for backbone training and selection in multi-domain FSC by utilizing flatness-aware training and fine-tuning. Our work is theoretically grounded and empirically performs on par or better than state-of-the-art methods despite being simpler. Further, our results indicate that backbone training is crucial for good generalisation in FSC across different adaptation methods.
• Abstract（参考訳）: 現実世界の設定にディープニューラルネットワークを配置するには、通常、いくつかの例で新しいタスクに適応する必要がある。 FSC(Few-shot Classification)は、トレーニング済みのバックボーンを利用して新しいクラスに迅速に適応することで、この問題に対する解決策を提供する。 しかし、マルチドメインFSCのアプローチは一般的に、バックボーントレーニングの重要性を考慮せずに、情報融合とタスク固有の適応を目的とした複雑なパイプラインをもたらす。 本研究では,フラットネスを意識したトレーニングと微調整を利用して,マルチドメインFSCにおけるバックボーントレーニングと選択のための効果的な戦略を提案する。 我々の研究は理論上は根拠があり、より単純でありながら、最先端の手法よりも実験的に優れている。 さらに, 本研究の結果から, バックボーントレーニングは, 適応方法の異なるFSCにおいて, 良好な一般化に不可欠であることが示唆された。

関連論文リスト

• Adapting In-Domain Few-Shot Segmentation to New Domains without Retraining [53.963279865355105]
  クロスドメイン小ショットセグメンテーション(CD-FSS)は、新しいドメインで新しいクラスのオブジェクトをセグメンテーションすることを目的としている。 多くのCD-FSSメソッドは、様々なドメイン一般化手法を用いて、ドメイン内FSSモデルを再設計し、再訓練する。 そこで,本研究では,FSSモデルを対象ドメインに適応させ,少数ショットラベル付きサポートサンプルからドメイン特性を学習する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-30T08:16:33Z)
• SelaVPR++: Towards Seamless Adaptation of Foundation Models for Efficient Place Recognition [69.58329995485158]
  近年の研究では、事前学習した視覚基盤モデルを用いた視覚的位置認識(VPR)法が有望な性能を達成できることが示されている。 本稿では,基礎モデルのVPRへのシームレスな適応を実現する新しい手法を提案する。 効率の向上と性能向上のために,SelaVPR++と呼ばれるSelaVPRの拡張を提案する。
  論文  参考訳（メタデータ） (2025-02-23T15:01:09Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Read-only Prompt Optimization for Vision-Language Few-shot Learning [20.66798356082751]
  学習可能なプロンプトは、自己アテンションモジュールの内部表現に影響を与える可能性がある。 本稿では,リードオンリーのプロンプト最適化(RPO)を提案する。 実験により, RPOはCLIPとCoCoOpより, ベース・ツー・ニューな一般化とドメインの一般化に優れることが示された。
  論文  参考訳（メタデータ） (2023-08-29T01:22:30Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Adaptive Fine-Grained Sketch-Based Image Retrieval [100.90633284767205]
  最近のファイングレード・スケッチに基づく画像検索は、モデルから新しいカテゴリへの一般化へとシフトしている。 実世界のアプリケーションでは、トレーニングされたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチラーの両方に適用されることが多い。 モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-04T21:07:20Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
  フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。 主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。 本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
  論文  参考訳（メタデータ） (2021-12-01T10:46:13Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
  教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。 この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
  論文  参考訳（メタデータ） (2020-12-07T08:09:02Z)
• A Flexible Selection Scheme for Minimum-Effort Transfer Learning [27.920304852537534]
  ファインチューニングは、トレーニング済みの畳み込みネットワークに含まれる知識を活用して、新しい視覚認識タスクを実現する方法として人気がある。 フレキシブルチューニング(flex-tuning)と呼ばれる,ネットワークの個々のユニットをチューニング可能な,新たなファインチューニング方式を導入する。 微調整された個々のユニットは、その単純さにもかかわらず、適応手法として非常に良い結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-27T08:57:30Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
  少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。 私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。 大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
  論文  参考訳（メタデータ） (2020-07-10T06:02:05Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。