論文の概要: Flatten Long-Range Loss Landscapes for Cross-Domain Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2403.00567v2
- Date: Fri, 19 Apr 2024 03:17:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 19:28:01.866717
- Title: Flatten Long-Range Loss Landscapes for Cross-Domain Few-Shot Learning
- Title（参考訳）: クロスドメイン・ファウショット学習のための平坦長距離ロスランドスケープ
- Authors: Yixiong Zou, Yicong Liu, Yiman Hu, Yuhua Li, Ruixuan Li,
- Abstract要約: クロスドメインの少数ショット学習は、ターゲットドメイン内の限られたトレーニングデータから知識を取得することを目的としている。
我々は、CNNとViTの両方で元のものを置き換える新しい正規化レイヤを導入する。
提案手法は,個々のデータセットに対する現在のベストアプローチと比較して,最大9%の性能向上を実現している。
- 参考スコア（独自算出の注目度）: 8.729669566501103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-domain few-shot learning (CDFSL) aims to acquire knowledge from limited training data in the target domain by leveraging prior knowledge transferred from source domains with abundant training samples. CDFSL faces challenges in transferring knowledge across dissimilar domains and fine-tuning models with limited training data. To address these challenges, we initially extend the analysis of loss landscapes from the parameter space to the representation space, which allows us to simultaneously interpret the transferring and fine-tuning difficulties of CDFSL models. We observe that sharp minima in the loss landscapes of the representation space result in representations that are hard to transfer and fine-tune. Moreover, existing flatness-based methods have limited generalization ability due to their short-range flatness. To enhance the transferability and facilitate fine-tuning, we introduce a simple yet effective approach to achieve long-range flattening of the minima in the loss landscape. This approach considers representations that are differently normalized as minima in the loss landscape and flattens the high-loss region in the middle by randomly sampling interpolated representations. We implement this method as a new normalization layer that replaces the original one in both CNNs and ViTs. This layer is simple and lightweight, introducing only a minimal number of additional parameters. Experimental results on 8 datasets demonstrate that our approach outperforms state-of-the-art methods in terms of average accuracy. Moreover, our method achieves performance improvements of up to 9\% compared to the current best approaches on individual datasets. Our code will be released.
- Abstract（参考訳）: クロスドメイン少ショットラーニング(CDFSL)は、ソースドメインから移行した事前知識を豊富なトレーニングサンプルで活用することにより、ターゲットドメイン内の限られたトレーニングデータから知識を取得することを目的としている。
CDFSLは、異なるドメインと限られたトレーニングデータを持つ微調整モデル間で知識を伝達する際の課題に直面している。
これらの課題に対処するため、まずパラメータ空間から表現空間への損失景観の解析を拡張し、CDFSLモデルの伝達と微調整の難しさを同時に解釈する。
表現空間のロスランドスケープにおけるシャープなミニマは、転送が困難で微妙な表現をもたらす。
さらに、既存の平坦性に基づく手法は、その短距離平坦性により、限定的な一般化能力を有する。
移動性を高め, 微調整を容易にするため, ロスランドスケープにおけるミニマの長距離平坦化を実現するための, 単純かつ効果的なアプローチを提案する。
この方法では、損失ランドスケープにおけるミニマとして異なる正規化された表現を考察し、補間された表現をランダムにサンプリングすることで、中央の高損失領域を平坦化する。
そこで本手法は,CNNとViTの両方において,元の手法を置き換えた新しい正規化層として実装する。
このレイヤはシンプルで軽量で、最小限の追加パラメータしか導入しない。
8つのデータセットに対する実験結果から,提案手法は平均精度で最先端の手法より優れていることが示された。
さらに,本手法は,個々のデータセットに対する現在のベストアプローチと比較して最大9倍の性能向上を実現している。
私たちのコードは解放されます。
関連論文リスト
- Simplicity bias and optimization threshold in two-layer ReLU networks [24.43739371803548]
過度なパラメータ化にもかかわらず、ネットワークはトレーニングデータを補間するのではなく、より単純な解へと収束することを示す。
我々の分析は、ニューロンが特定の方向に向かっているいわゆる早期アライメントフェーズに依存しています。
論文 参考訳（メタデータ） (2024-10-03T09:58:57Z) - Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning [0.0]
クロスドメインの少ショット分類は、それまで見つからなかった領域で新しいクラスを学ぶという難しい課題を示す。
我々は,小データセット上の多数のパラメータの微調整に伴うオーバーフィッティングに対処する,軽量なパラメータ効率適応手法を提案する。
我々は,従来の遠心波を識別的サンプル認識損失関数に置き換え,クラス間およびクラス内分散に対するモデルの感度を高める。
論文 参考訳（メタデータ） (2024-03-07T13:49:29Z) - Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。
IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。
提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
論文 参考訳（メタデータ） (2023-09-25T15:56:01Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - A Novel Cross-Perturbation for Single Domain Generalization [54.612933105967606]
単一ドメインの一般化は、モデルが単一のソースドメインでトレーニングされたときに未知のドメインに一般化する能力を高めることを目的としている。
トレーニングデータの限られた多様性は、ドメイン不変の特徴の学習を妨げ、結果として一般化性能を損なう。
トレーニングデータの多様性を高めるために,CPerbを提案する。
論文 参考訳（メタデータ） (2023-08-02T03:16:12Z) - Semi-Supervised Wide-Angle Portraits Correction by Multi-Scale
Transformer [17.455782652441187]
広角画像補正のための半教師付きネットワークを提案する。
我々のネットワークはMulti-Scale Swin-Unet(MS-Unet)と呼ばれ、MSTB(Multi-scale Swin-Unet)上に構築されている。
論文 参考訳（メタデータ） (2021-09-14T09:40:25Z) - Pixel-Level Cycle Association: A New Perspective for Domain Adaptive
Semantic Segmentation [169.82760468633236]
本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。
我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
論文 参考訳（メタデータ） (2020-10-31T00:11:36Z) - Domain-invariant Similarity Activation Map Contrastive Learning for
Retrieval-based Long-term Visual Localization [30.203072945001136]
本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。
そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。
CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。
我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
論文 参考訳（メタデータ） (2020-09-16T14:43:22Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - FDA: Fourier Domain Adaptation for Semantic Segmentation [82.4963423086097]
本稿では,教師なし領域適応の簡易な手法について述べる。一方の低周波スペクトルを他方と交換することにより,音源と対象分布の相違を低減できる。
本手法を意味的セグメンテーション(semantic segmentation, 意味的セグメンテーション, 意味的セグメンテーション)で説明する。
以上の結果から,より高度な手法が学習に苦しむデータにおいて,単純な手順であってもニュアンス変動を低減できる可能性が示唆された。
論文 参考訳（メタデータ） (2020-04-11T22:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。