論文の概要: Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification
- arxiv url: http://arxiv.org/abs/2206.09843v1
- Date: Mon, 20 Jun 2022 15:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 08:25:33.864944
- Title: Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification
- Title（参考訳）: 効率的なFew-Shot画像分類のための文脈的スキーズ・アンド・エキサイティング
- Authors: Massimiliano Patacchiola, John Bronskill, Aliaksandra Shysheya, Katja
Hofmann, Sebastian Nowozin, Richard E. Turner
- Abstract要約: 本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
- 参考スコア（独自算出の注目度）: 57.36281142038042
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have seen a growth in user-centric applications that require
effective knowledge transfer across tasks in the low-data regime. An example is
personalization, where a pretrained system is adapted by learning on small
amounts of labeled data belonging to a specific user. This setting requires
high accuracy under low computational complexity, therefore the Pareto frontier
of accuracy vs.~adaptation cost plays a crucial role. In this paper we push
this Pareto frontier in the few-shot image classification setting with two key
contributions: (i) a new adaptive block called Contextual
Squeeze-and-Excitation (CaSE) that adjusts a pretrained neural network on a new
task to significantly improve performance with a single forward pass of the
user data (context), and (ii) a hybrid training protocol based on
Coordinate-Descent called UpperCaSE that exploits meta-trained CaSE blocks and
fine-tuning routines for efficient adaptation. UpperCaSE achieves a new
state-of-the-art accuracy relative to meta-learners on the 26 datasets of
VTAB+MD and on a challenging real-world personalization benchmark (ORBIT),
narrowing the gap with leading fine-tuning methods with the benefit of orders
of magnitude lower adaptation cost.
- Abstract（参考訳）: 近年、低データ体制におけるタスク間の効果的な知識伝達を必要とするユーザ中心のアプリケーションが増えている。
例えばパーソナライズでは、特定のユーザに属する少数のラベル付きデータを学習することで、事前訓練されたシステムが適応される。
この設定は計算の複雑さが低い場合、高い精度を必要とするため、paretoの精度のフロンティアは対等である。
適応コストが重要な役割を果たす。
本稿では,このParetoフロンティアを,2つの重要なコントリビューションを持つ数ショット画像分類設定にプッシュする。
i) 事前学習されたニューラルネットワークを新しいタスクで調整し、ユーザデータの単一のフォワードパス(コンテキスト)でパフォーマンスを大幅に向上させる、Contextual Squeeze-and-Excitation (CaSE)と呼ばれる新しい適応ブロック。
(II) メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応するアッパーキャッシュと呼ばれるコーディネートダイスに基づくハイブリッドトレーニングプロトコル。
UpperCaSEは、VTAB+MDの26のデータセットと挑戦的な実世界のパーソナライゼーションベンチマーク(ORBIT)上で、メタラーナーと比較して新しい最先端の精度を実現し、桁違いの低い適応コストのオーダーで、主要な微調整手法とのギャップを狭める。
関連論文リスト
- Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [31.67570086108542]
非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。
本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-23T13:01:33Z) - Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-06-05T15:11:59Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳（メタデータ） (2023-03-12T02:49:19Z) - Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
近年では、FSS ( few-shot segmentation) が広く開発されている。
本稿では,問題を緩和するための新鮮で直接的な知見を提案する。
提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
論文 参考訳（メタデータ） (2022-03-15T03:08:27Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。