論文の概要: Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2403.01966v1
• Date: Mon, 4 Mar 2024 12:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:55:31.564286
• Title: Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning
• Title（参考訳）: ソースレスクロスドメインFew-Shot学習のための距離対応コントラスト学習による情報最大化
• Authors: Huali Xu, Li Liu, Shuaifeng Zhi, Shaojing Fu, Zhuo Su, Ming-Ming Cheng, Yongxiang Liu
• Abstract要約: クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。 データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
• 参考スコア（独自算出の注目度）: 55.715623885418815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing Cross-Domain Few-Shot Learning (CDFSL) methods require access to source domain data to train a model in the pre-training phase. However, due to increasing concerns about data privacy and the desire to reduce data transmission and training costs, it is necessary to develop a CDFSL solution without accessing source data. For this reason, this paper explores a Source-Free CDFSL (SF-CDFSL) problem, in which CDFSL is addressed through the use of existing pretrained models instead of training a model with source data, avoiding accessing source data. This paper proposes an Enhanced Information Maximization with Distance-Aware Contrastive Learning (IM-DCL) method to address these challenges. Firstly, we introduce the transductive mechanism for learning the query set. Secondly, information maximization (IM) is explored to map target samples into both individual certainty and global diversity predictions, helping the source model better fit the target data distribution. However, IM fails to learn the decision boundary of the target task. This motivates us to introduce a novel approach called Distance-Aware Contrastive Learning (DCL), in which we consider the entire feature set as both positive and negative sets, akin to Schrodinger's concept of a dual state. Instead of a rigid separation between positive and negative sets, we employ a weighted distance calculation among features to establish a soft classification of the positive and negative sets for the entire feature set. Furthermore, we address issues related to IM by incorporating contrastive constraints between object features and their corresponding positive and negative sets. Evaluations of the 4 datasets in the BSCD-FSL benchmark indicate that the proposed IM-DCL, without accessing the source domain, demonstrates superiority over existing methods, especially in the distant domain task.
• Abstract（参考訳）: 既存のクロスドメインFew-Shot Learning(CDFSL)メソッドは、事前学習フェーズでモデルをトレーニングするためにソースドメインデータにアクセスする必要がある。 しかし、データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため、ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 そこで本研究では,ソースデータを用いたモデルトレーニングではなく,既存の事前学習モデルを用いてCDFSLに対処する,ソースフリーCDFSL(Source-Free CDFSL)問題について検討する。 本稿では,距離対応コントラスト学習(IM-DCL)による情報最大化手法を提案する。 まず,問合せ集合を学習するための帰納的メカニズムを提案する。 第二に、情報最大化(IM)は、ターゲットサンプルを個別の確実性とグローバルな多様性予測の両方にマッピングし、ソースモデルがターゲットデータ分布に適合するのに役立つ。 しかし、IMは目標タスクの決定境界を学習することができない。 これにより、我々はDCL(Distance-Aware Contrastive Learning)と呼ばれる新しいアプローチを導入し、特徴集合全体を正と負の両方の集合とみなす。 正と負の集合を厳密に分離する代わりに、特徴集合全体の正と負の集合のソフトな分類を確立するために、特徴集合間の重み付き距離計算を用いる。 さらに,対象特徴と対応する正および負の集合との対比的制約を取り入れることで,IMに関連する問題に対処する。 BSCD-FSLベンチマークにおける4つのデータセットの評価は、提案したIM-DCLが、ソースドメインにアクセスすることなく、既存のメソッド、特に遠くのドメインタスクよりも優れていることを示している。

関連論文リスト

• Step-wise Distribution Alignment Guided Style Prompt Tuning for Source-free Cross-domain Few-shot Learning [53.60934432718044]
  クロスドメインの少数ショット学習手法は、アクセス不能なソースデータとトレーニング戦略により、大規模事前学習モデルの課題に直面している。 本稿では,ステップワイド配向ガイド型プロンプトチューニング(StepSPT)を紹介する。 StepSPTは予測分布最適化を通じて暗黙的にドメインギャップを狭める。
  論文  参考訳（メタデータ） (2024-11-15T09:34:07Z)
• Empowering Source-Free Domain Adaptation with MLLM-driven Curriculum Learning [5.599218556731767]
  Source-Free Domain Adaptation (SFDA)は、未ラベルのターゲットデータのみを使用して、トレーニング済みのソースモデルをターゲットドメインに適応することを目的としている。 Reliability-based Curriculum Learning (RCL)は、SFDAの擬似ラベルによる知識活用のために複数のMLLMを統合している。
  論文  参考訳（メタデータ） (2024-05-28T17:18:17Z)
• Unified Source-Free Domain Adaptation [44.95240684589647]
  ソーストレーニングデータにアクセスせずにソースモデルをターゲットドメインに転送する目的で、Source-Free Domain Adaptation (SFDA)が広く研究されている。 我々はLCFD(Latent Causal Factors Discovery)と呼ばれる新しい手法を提案する。 現実の統計的記述の学習を強調する従来の代替手段とは対照的に、因果性の観点からLCFDを定式化する。
  論文  参考訳（メタデータ） (2024-03-12T12:40:08Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。