論文の概要: Reclaiming Lost Text Layers for Source-Free Cross-Domain Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2603.05235v1
• Date: Thu, 05 Mar 2026 14:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.279464
• Title: Reclaiming Lost Text Layers for Source-Free Cross-Domain Few-Shot Learning
• Title（参考訳）: ソースレスクロスドメインFew-Shot学習のための失われたテキスト層を再利用する
• Authors: Zhenyu Zhang, Guangyao Chen, Yixiong Zou, Yuhua Li, Ruixuan Li,
• Abstract要約: Source-Free Cross-Domain Few-Shot Learningは、ターゲットドメインからの限られたトレーニングデータによる微調整に焦点を当てている。 テキストエンコーダの中間層を削除したtextbfremov は、性能を効果的に向上させることができる。 本稿では,失われた層内の情報を層レベルとエンコーダレベルの両方でテクスブフレで活用する手法を提案する。
• 参考スコア（独自算出の注目度）: 30.807806199034587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source-Free Cross-Domain Few-Shot Learning (SF-CDFSL) focuses on fine-tuning with limited training data from target domains (e.g., medical or satellite images), where CLIP has recently shown promising results due to its generalizability to downstream tasks. Current works indicate CLIP's text encoder is more suitable for cross-domain tasks, however, we find that \textbf{removing certain middle layers of the text encoder can effectively improve performance in SF-CDFSL}, which we call the Lost Layers. In this paper, we delve into this phenomenon for a deeper understanding. We discover that instead of being harmful for the SF-CDFSL task, the information in these layers is actually beneficial, but visual gaps prevent this useful information from being fully utilized, making these layers seem redundant. Based on this understanding, unlike current works that simply remove these layers, we propose a method to teachs the model to \textbf{re-utilize} information in these lost layers at both the layer and encoder levels, guiding the re-learning of the visual branch under domain shifts. Our approach effectively addresses the issue of underutilized information in the text encoder. Extensive experiments across various settings, backbones (CLIP, SigLip, PE-Core), and tasks (4 CDFSL datasets and 10 Meta-dataset datasets) demonstrate the effectiveness of our method. Code is available at https://github.com/zhenyuZ-HUST/CVPR26-VtT.
• Abstract（参考訳）: Source-Free Cross-Domain Few-Shot Learning (SF-CDFSL)は、ターゲットドメイン(医療や衛星画像など)からの限られたトレーニングデータによる微調整に焦点を当てている。 現在の研究は、CLIPのテキストエンコーダがクロスドメインタスクにより適していることを示しているが、テキストエンコーダの中間層を削除した \textbf{removing は、私たちがLost Layersと呼ぶSF-CDFSL} のパフォーマンスを効果的に改善できることを示している。 本稿では,この現象を深く理解するために掘り下げる。 SF-CDFSLタスクに有害である代わりに、これらのレイヤ内の情報は実際には有益であるが、視覚的ギャップにより、この有用な情報が完全に活用されることが防がれ、これらのレイヤは冗長に思える。 この理解に基づき、これらのレイヤを単純に取り除く現在の作業とは異なり、ドメインシフトの下で視覚分岐の再学習を導くために、失われたレイヤとエンコーダレベルの両方において、これらの失われたレイヤの「textbf{re-utilize}」情報をモデルに教える手法を提案する。 本手法は,テキストエンコーダにおける未利用情報の問題に効果的に対処する。 各種設定、バックボーン(CLIP, SigLip, PE-Core)、タスク(CDFSLデータセット4つ, Meta-datasetデータセット10つ)にわたる大規模な実験により, 本手法の有効性が示された。 コードはhttps://github.com/zhenyuZ-HUST/CVPR26-VtTで入手できる。

関連論文リスト

• Privacy-Preserving CNN Training with Transfer Learning: Two Hidden Layers [0.0]
  完全同相暗号(FHE)を用いた4層ニューラルネットワークの学習例を示す。 我々の研究の重要な貢献は、textitSoftmax を textitSigmoid に置き換えることと、BCE(Binary Cross-Entropy)損失関数と組み合わせることで、同型分類のための効果的でスケーラブルなソリューションが提供されることである。
  論文  参考訳（メタデータ） (2025-04-17T03:58:23Z)
• Text-Enhanced Data-free Approach for Federated Class-Incremental Learning [36.70524853012054]
  データ自由な知識伝達は、忘れることとデータのプライバシー問題に対処する上で重要な役割を果たす。 従来のアプローチでは、DFKTとモデルトレーニングフェーズの間に重要なシナジーが欠如していた。 事前訓練された言語モデルによって生成されたラベルテキストの埋め込みを利用して,この問題に対処するためにLANDERを導入する。
  論文  参考訳（メタデータ） (2024-03-21T03:24:01Z)
• FDCNet: Feature Drift Compensation Network for Class-Incremental Weakly Supervised Object Localization [10.08410402383604]
  本研究は、クラス増分弱教師付きオブジェクトローカライゼーション(CI-WSOL)の課題に対処する。 ゴールは、画像レベルのアノテーションのみを使用して、新しいクラスのオブジェクトローカライゼーションを漸進的に学習し、以前に学習したクラスをローカライズする能力を維持することである。 まず、クラスインクリメンタル分類器の戦略を破滅的な忘れ方に適用し、CI-WSOLの強力なベースライン法を提案する。 そこで我々は,特徴ドリフトがクラススコアやローカライゼーションマップに与える影響を補償する特徴ドリフト補償ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-17T01:10:45Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
  合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。 トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。 そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:01:40Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Exploring Incompatible Knowledge Transfer in Few-shot Image Generation [107.81232567861117]
  少ないショット画像生成は、いくつかの参照サンプルを使用して、ターゲットドメインから多彩で高忠実な画像を生成することを学習する。 既存のF SIGメソッドは、ソースジェネレータから事前の知識を選択し、保存し、転送し、ターゲットジェネレータを学習する。 本稿では,知識保存を補完する操作であり,軽量プルーニング方式で実装した知識トランケーションを提案する。
  論文  参考訳（メタデータ） (2023-04-15T14:57:15Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• Deep Learning for Cross-Domain Few-Shot Visual Recognition: A Survey [33.00835033658241]
  わずかながらの学習により、モデルは非常に少ないラベル付き例でターゲットタスクを実行することができる。 この制限を克服するため、クロスドメインな数ショット学習が注目されている。 本稿では,クロスドメインFew-shot Learningの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-03-15T12:18:16Z)
• Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning [15.009986848506486]
  Guillotine Regularization (GR) は、転送学習シナリオにおける一般化性能の向上に使用される汎用的な手法である。 その成功の背後にある根本的な理由を特定し、トレーニング設定やデータ、ダウンストリームタスクによって最適なレイヤが大幅に変化する可能性があることを示す。
  論文  参考訳（メタデータ） (2022-06-27T15:37:54Z)
• Text-Based Person Search with Limited Data [66.26504077270356]
  テキストベースの人物検索(TBPS)は、画像ギャラリーから対象人物を記述的なテキストクエリで検索することを目的としている。 限られたデータによってもたらされる問題に対処する2つの新しいコンポーネントを持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:20:47Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Learning Visual Representations for Transfer Learning by Suppressing Texture [38.901410057407766]
  自己教師付き学習では、低レベルのキューとしてのテクスチャは、ネットワークがより高いレベルの表現を学習することを防ぐショートカットを提供する。 本稿では,異方性拡散に基づく古典的手法を用いて,テクスチャを抑圧した画像を用いた強化訓練を提案する。 提案手法は,物体検出と画像分類における最先端の成果を実証的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:27:03Z)
• Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding [10.643105866460978]
  名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された「コンテキスト埋め込み」である。 本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。 2003年のCoNLLでタグをトレーニングしている間、強いパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタグよりも786$%のスピードアップが得られました。
  論文  参考訳（メタデータ） (2020-01-05T04:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。