論文の概要: Leveraging Normalization Layer in Adapters With Progressive Learning and
Adaptive Distillation for Cross-Domain Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2312.11260v1
- Date: Mon, 18 Dec 2023 15:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 19:43:56.209314
- Title: Leveraging Normalization Layer in Adapters With Progressive Learning and
Adaptive Distillation for Cross-Domain Few-Shot Learning
- Title（参考訳）: プログレッシブラーニングと適応蒸留を併用したクロスドメインFew-Shot学習における正規化層の導入
- Authors: Yongjin Yang, Taehyeon Kim, Se-Young Yun
- Abstract要約: モデルはベースクラスでトレーニングされ、手元に数個のサンプルしか持たない、さまざまなドメインの新しいクラスでテストされなければならない。
本稿では,Progressive Learning and Adaptive Distillation (ProLAD) アダプタにおける正規化層を利用した新しい汎用フレームワークを提案する。
2つのアダプタのプログレッシブトレーニングと、正規化層のアダプタを欠いたモデルによって決定された特徴から導かれる適応蒸留技術である。
- 参考スコア（独自算出の注目度）: 27.757318834190443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-domain few-shot learning presents a formidable challenge, as models
must be trained on base classes and then tested on novel classes from various
domains with only a few samples at hand. While prior approaches have primarily
focused on parameter-efficient methods of using adapters, they often overlook
two critical issues: shifts in batch statistics and noisy sample statistics
arising from domain discrepancy variations. In this paper, we introduce a novel
generic framework that leverages normalization layer in adapters with
Progressive Learning and Adaptive Distillation (ProLAD), marking two principal
contributions. First, our methodology utilizes two separate adapters: one
devoid of a normalization layer, which is more effective for similar domains,
and another embedded with a normalization layer, designed to leverage the batch
statistics of the target domain, thus proving effective for dissimilar domains.
Second, to address the pitfalls of noisy statistics, we deploy two strategies:
a progressive training of the two adapters and an adaptive distillation
technique derived from features determined by the model solely with the adapter
devoid of a normalization layer. Through this adaptive distillation, our
approach functions as a modulator, controlling the primary adapter for
adaptation, based on each domain. Evaluations on standard cross-domain few-shot
learning benchmarks confirm that our technique outperforms existing
state-of-the-art methodologies.
- Abstract（参考訳）: モデルはベースクラスでトレーニングされ、手元に数個のサンプルしか持たない、さまざまなドメインの新しいクラスでテストされなければならない。
以前のアプローチは、主にアダプタを使用するパラメータ効率のよい方法に焦点を当てていたが、バッチ統計のシフトと、ドメインの相違から生じるノイズの多いサンプル統計の2つの重要な問題を見落としていることが多い。
本稿では,Progressive Learning and Adaptive Distillation (ProLAD) を用いたアダプタにおける正規化層を利用した新しい汎用フレームワークを提案する。
まず, 同一のドメインに対してより有効である正規化層を欠いたものと, 対象ドメインのバッチ統計を利用した正規化層を組み込んだもので, 異種ドメインに対して有効であることを示す。
第2に,ノイズ統計の落とし穴に対処するために,2つのアダプタのプログレッシブなトレーニングと,モデルを正規化層を欠いたアダプタのみで決定する特徴から生じる適応蒸留技術という,2つの戦略を展開する。
この適応蒸留により,本手法は変調器として機能し,各領域に基づいて適応用プライマリアダプタを制御する。
標準領域間数ショット学習ベンチマークの評価により,本手法が既存の最先端手法より優れていることを確認した。
関連論文リスト
- Cross-Domain Few-Shot Learning via Adaptive Transformer Networks [16.289485655725013]
本稿では,ドメイン間数ショット学習のための適応型トランスフォーマネットワーク(ADAPTER)を提案する。
ADAPTERは2つのドメイン間で伝達可能な特徴を学習するために双方向の相互注意というアイデアに基づいて構築されている。
論文 参考訳（メタデータ） (2024-01-25T07:05:42Z) - Adaptive Parametric Prototype Learning for Cross-Domain Few-Shot
Classification [23.82751179819225]
本稿では,メタラーニング・コンベンションの下で新しい適応パラメトリックプロトタイプ学習法(APPL)を開発した。
APPLは多くの最先端のクロスドメイン・ショット・ラーニング手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2023-09-04T03:58:50Z) - Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via
Optimization Trajectory Distillation [73.83178465971552]
自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。
非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。
本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
論文 参考訳（メタデータ） (2023-07-27T08:58:05Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - Learning Instance-Specific Adaptation for Cross-Domain Segmentation [79.61787982393238]
クロスドメイン画像セグメンテーションのためのテスト時間適応法を提案する。
テスト時に新しい目に見えないインスタンスが与えられると、インスタンス固有のBatchNormキャリブレーションを実行することで、事前トレーニングされたモデルを適用します。
論文 参考訳（メタデータ） (2022-03-30T17:59:45Z) - Style Mixing and Patchwise Prototypical Matching for One-Shot
Unsupervised Domain Adaptive Semantic Segmentation [21.01132797297286]
ワンショットの教師なしドメイン適応では、セグメンタはトレーニング中にラベルなしのターゲットイメージを1つしか見ることができない。
このような計算負担を効果的に軽減できるOSUDA法を提案する。
提案手法は,ドメイン適応型セマンティックセグメンテーションのための2つの一般的なベンチマーク上で,最先端性能を実現する。
論文 参考訳（メタデータ） (2021-12-09T02:47:46Z) - Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。
本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文 参考訳（メタデータ） (2020-08-27T00:53:43Z) - Class-Incremental Domain Adaptation [56.72064953133832]
私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。
既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。
提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
論文 参考訳（メタデータ） (2020-08-04T07:55:03Z) - Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。
本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-03-04T23:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。