論文の概要: Sparsity Hurts: Simple Linear Adapter Can Boost Generalized Category Discovery

• arxiv url: http://arxiv.org/abs/2605.08183v1
• Date: Tue, 05 May 2026 10:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.437125
• Title: Sparsity Hurts: Simple Linear Adapter Can Boost Generalized Category Discovery
• Title（参考訳）: Sparsity Hurts:単純な線形アダプタは一般化されたカテゴリー発見を促進する
• Authors: Bo Ye, Kai Gan, Tong Wei, Min-Ling Zhang,
• Abstract要約: Generalized Category Discovery (GCD)は、ラベルのないデータから新しいカテゴリを識別する。 以前のGCD法は、通常、事前訓練されたモデルからの転送可能な表現を利用する。 本稿では,各 ViT ブロックに線形アダプタを組み込む,単純かつ効果的な GCD 手法である LAGCD を提案する。
• 参考スコア（独自算出の注目度）: 54.695641187741536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized Category Discovery (GCD) seeks to identify novel categories from unlabeled data while retaining the classification ability of seen categories. Prior GCD methods commonly leverage transferable representations from pre-trained models, adapting to downstream datasets via partial fine-tuning (updating only the final ViT block) and visual prompt tuning (appending learnable vectors to inputs). However, conventional partial fine-tuning offers limited flexibility, as it fails to adapt the entire model; meanwhile, visual prompt tuning is prone to overfitting, due to its sensitivity to initialization and inherently constrained capacity. To address these limitations, we propose LAGCD, a simple yet effective GCD approach that embeds a residual linear adapter into each ViT block. From the perspective of feature sparsity, we systematically show that non-linearity in conventional adapters impairs performance, whereas our linear adapter enhances it by enabling more flexible model capacity. We further introduce an auxiliary distribution alignment loss to mitigate the negative impact of biased predictions between seen and novel categories. Extensive experiments on both generic and fine-grained datasets confirm that LAGCD consistently improves performance over many sophisticated baselines. The source code is available at https://github.com/yebo0216best/LAGCD
• Abstract（参考訳）: Generalized Category Discovery (GCD) は、未ラベルのデータから新しいカテゴリを識別し、そのカテゴリの分類能力を維持する。 従来のGCD手法では、事前訓練されたモデルからの転送可能な表現を利用し、部分的な微調整(最後のViTブロックのみの更新)と視覚的プロンプトチューニング(入力への学習可能なベクトルの付加)によって下流のデータセットに適応する。 しかし、従来の部分的な微調整は、モデル全体の適応に失敗するため、柔軟性が制限されるが、一方、初期化に対する感受性と本質的に制約された能力のため、視覚的なプロンプトチューニングは過度に適合する傾向がある。 これらの制約に対処するために,各 ViT ブロックに線形アダプタを埋め込む,単純かつ効果的な GCD アプローチである LAGCD を提案する。 特徴空間の観点からは,従来のアダプタの非線形性は性能を損なうが,線形アダプタはより柔軟なモデルキャパシティを実現することで性能を向上させる。 さらに,視線と新カテゴリー間の偏差予測の負の影響を軽減するために,補助分布アライメント損失を導入する。 汎用データセットと細粒度データセットの両方に対する大規模な実験により、RAGCDが多くの洗練されたベースラインよりも一貫してパフォーマンスを改善していることが確認された。 ソースコードはhttps://github.com/yebo0216best/LAGCDで入手できる。

関連論文リスト

• GRASP: Guided Residual Adapters with Sample-wise Partitioning [10.504309161945065]
  GRASP: サンプル分割によるガイド型残留アダプタを提案する。 長尾MIMIC-CXR-LTデータセットでは、GRASPは特に稀なクラスにおいて優れたFIDと多様性のメトリクスを得る。
  論文  参考訳（メタデータ） (2025-12-01T13:43:17Z)
• Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers [27.14203097630326]
  本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-13T03:40:54Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• AdaptGCD: Multi-Expert Adapter Tuning for Generalized Category Discovery [15.640670797555579]
  Generalized Category Discoveryは、古いカテゴリを分類し、ラベルなしデータの新しいカテゴリを見つけることを目的としている。 GCDに関する既存の研究は、通常、自己教師付き事前訓練されたモデルから目標のGCDタスクに一般的な知識を移すことに費やしている。 本稿では,GCDタスクにアダプタチューニングを導入する最初の試みであるAdaptGCDという,アダプタチューニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T03:41:47Z)
• Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
  Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。 ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。 本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T14:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。