論文の概要: Semantic-guided Fine-tuning of Foundation Model for Long-tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2507.12807v1
• Date: Thu, 17 Jul 2025 05:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.355314
• Title: Semantic-guided Fine-tuning of Foundation Model for Long-tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のための意味誘導型基礎モデルの微調整
• Authors: Yufei Peng, Yonggang Zhang, Yiu-ming Cheung,
• Abstract要約: 長期視覚認識のための基礎モデルのセマンティック誘導微調整法(セージ)を提案する。 クラス記述をセマンティックガイダンスとして統合したSG-Adapterを導入し,ビジュアルエンコーダの微調整を指導する。 ベンチマークデータセットの実験は、長期学習におけるパフォーマンス向上における提案されたSageの有効性を示す。
• 参考スコア（独自算出の注目度）: 38.74388860692423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The variance in class-wise sample sizes within long-tailed scenarios often results in degraded performance in less frequent classes. Fortunately, foundation models, pre-trained on vast open-world datasets, demonstrate strong potential for this task due to their generalizable representation, which promotes the development of adaptive strategies on pre-trained models in long-tailed learning. Advanced fine-tuning methods typically adjust visual encoders while neglecting the semantics derived from the frozen text encoder, overlooking the visual and textual alignment. To strengthen this alignment, we propose a novel approach, Semantic-guided fine-tuning of foundation model for long-tailed visual recognition (Sage), which incorporates semantic guidance derived from textual modality into the visual fine-tuning process. Specifically, we introduce an SG-Adapter that integrates class descriptions as semantic guidance to guide the fine-tuning of the visual encoder. The introduced guidance is passesed through the attention mechanism and enables the model to focus more on semantically relevant content, strengthening the alignment between the visual and textual modalities. Due to the inconsistent class-conditional distributions neglected by the existing loss function, the resulting prediction bias causes performance improvements for the tail class less than for the head class, even when the multi-modal alignment is enhanced. To address this challenge, we propose a novel distribution mismatch-aware compensation factor, which is specifically designed to rectify the prediction bias caused by the ignored inconsistent distribution based on our theoretical analysis, and is seamlessly integrated into the loss function. Extensive experiments on benchmark datasets demonstrate the effectiveness of the proposed Sage in enhancing performance in long-tailed learning.
• Abstract（参考訳）: 長い尾のシナリオにおけるクラス単位でのサンプルサイズのばらつきは、しばしばあまり頻度の低いクラスで性能の低下をもたらす。 幸いなことに、膨大なオープンワールドデータセットに基づいて事前学習された基礎モデルは、その一般化可能な表現によって、長い尾の学習において事前学習されたモデルに対する適応戦略の開発を促進するために、このタスクに強い可能性を示す。 高度な微調整手法は、通常、視覚的およびテキスト的アライメントを見下ろしながら、凍結したテキストエンコーダから派生した意味を無視しながら、視覚的エンコーダを調整する。 このアライメントを強化するために,テキストのモダリティから派生した意味的指導を視覚的微調整プロセスに組み込んだセマンティックガイドによる長期視覚認識の基礎モデルの微調整(Sage)を提案する。 具体的には、クラス記述をセマンティックガイダンスとして統合し、視覚エンコーダの微調整を誘導するSG-Adapterを提案する。 導入したガイダンスはアテンションメカニズムを通し、視覚とテキストのモダリティのアライメントを強化することによって、セマンティックな内容にもっと焦点を合わせることができる。 既存の損失関数に無視されるクラス条件分布の不整合により、マルチモーダルアライメントが強化された場合でも、その結果の予測バイアスは、ヘッドクラスよりも低いテールクラスのパフォーマンス改善を引き起こす。 この課題に対処するため,我々の理論解析に基づいて無視された不整合分布による予測バイアスを補正する新しい分布ミスマッチ対応補償係数を提案し,損失関数にシームレスに統合する。 ベンチマークデータセットの大規模な実験は、長期学習におけるパフォーマンス向上における提案されたSageの有効性を示す。

関連論文リスト

• Beyond Fully Supervised Pixel Annotations: Scribble-Driven Weakly-Supervised Framework for Image Manipulation Localization [11.10178274806454]
  アノテーションの効率と検出性能を向上させる弱監督方式を提案する。 我々は、スクリブルラベルでメインストリームのMLデータセットを再注釈し、最初のスクリブルベースのMLデータセットを提案する。 モデルが一貫した予測を生成することを奨励するために,構造的整合性を損なう自己教師型トレーニングを採用する。
  論文  参考訳（メタデータ） (2025-07-17T11:45:27Z)
• Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
  この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。 まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。 その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
  論文  参考訳（メタデータ） (2025-06-13T06:33:27Z)
• Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning [5.242869847419834]
  コンピュータビジョンにおける微妙な分類は、限られたデータで微妙な分類を区別する必要があるため、大きな課題となる。 本稿では,適応的なプロンプトチューニングにより,コントラスト言語画像事前学習モデルを強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:51:01Z)
• Adjusting Pretrained Backbones for Performativity [34.390793811659556]
  本稿では,事前学習したバックボーンをモジュラー方式で演奏性に適応させる新しい手法を提案する。 再学習軌道に沿った損失を減らし、候補モデルの中から効果的に選択し、性能劣化を予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-06T14:41:13Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Improved Visual Fine-tuning with Natural Language Supervision [36.250244364023665]
  視覚的事前学習モデルの微調整は、大規模事前学習データからの意味情報を活用することができる。 術前訓練した背骨における破折性忘れの問題は、微調整のために広く研究されている。 固定テキスト分類器から得られた参照分布を導入し,学習した視覚分類器の正規化を支援する。
  論文  参考訳（メタデータ） (2023-04-04T03:08:02Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。