論文の概要: Alternating Training-based Label Smoothing Enhances Prompt Generalization

• arxiv url: http://arxiv.org/abs/2508.17846v1
• Date: Mon, 25 Aug 2025 09:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.714773
• Title: Alternating Training-based Label Smoothing Enhances Prompt Generalization
• Title（参考訳）: 交代学習に基づくラベル平滑化によるプロンプト一般化
• Authors: Yang Chen, Yanbin Wei, Ke Jin, Yi Kong, James Kwok, Yu Zhang,
• Abstract要約: 本稿では,ATLaS(Alternating Training-based Label Smoothing)法を提案する。 クラスワイドソフトラベル(CSL)とインスタンスワイドソフトラベル(ISL)の2種類の効率的なオフラインソフトラベルを導入する。 提案したATLaS法とCSLとISLを組み合わせることで,プロンプトチューニングの一般化性能を継続的に向上する。
• 参考スコア（独自算出の注目度）: 14.214174100030428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in pre-trained vision-language models have demonstrated remarkable zero-shot generalization capabilities. To further enhance these models' adaptability to various downstream tasks, prompt tuning has emerged as a parameter-efficient fine-tuning method. However, despite its efficiency, the generalization ability of prompt remains limited. In contrast, label smoothing (LS) has been widely recognized as an effective regularization technique that prevents models from becoming over-confident and improves their generalization. This inspires us to explore the integration of LS with prompt tuning. However, we have observed that the vanilla LS even weakens the generalization ability of prompt tuning. To address this issue, we propose the Alternating Training-based Label Smoothing (ATLaS) method, which alternately trains with standard one-hot labels and soft labels generated by LS to supervise the prompt tuning. Moreover, we introduce two types of efficient offline soft labels, including Class-wise Soft Labels (CSL) and Instance-wise Soft Labels (ISL), to provide inter-class or instance-class relationships for prompt tuning. The theoretical properties of the proposed ATLaS method are analyzed. Extensive experiments demonstrate that the proposed ATLaS method, combined with CSL and ISL, consistently enhances the generalization performance of prompt tuning. Moreover, the proposed ATLaS method exhibits high compatibility with prevalent prompt tuning methods, enabling seamless integration into existing methods.
• Abstract（参考訳）: 事前学習された視覚言語モデルの最近の進歩は、顕著なゼロショット一般化能力を示している。 これらのモデルの様々なダウンストリームタスクへの適応性をさらに向上するために、パラメータ効率の良い微調整法としてプロンプトチューニングが登場した。 しかし、その効率性にもかかわらず、プロンプトの一般化能力は依然として限られている。 対照的にラベル平滑化(LS)はモデルが過度に信頼されるのを防ぎ、一般化を改善する効果的な正規化手法として広く認識されている。 このことが、即時チューニングによるLSの統合を探求するきっかけとなりました。 しかし、我々は、バニラLSがプロンプトチューニングの一般化能力をさらに弱めることを観察した。 この問題に対処するために,LS が生成する標準のワンホットラベルとソフトラベルを交互にトレーニングし,即時チューニングを監督する Alternating Training-based Label Smoothing (ATLaS) 法を提案する。 さらに、クラスワイドソフトラベル(CSL)とインスタンスワイドソフトラベル(ISL)の2種類の効率的なオフラインソフトラベルを導入し、クラス間またはインスタンスクラスの関係を即時チューニングする。 提案手法の理論的特性を解析した。 広汎な実験により,提案手法とCSLとISLを併用したATLaS法は,プロンプトチューニングの一般化性能を継続的に向上することを示した。 さらに,ATLaS法は,既存の手法とのシームレスな統合を実現するために,一般的なプロンプトチューニング手法と高い互換性を示す。

関連論文リスト

• CalFuse: Feature Calibration Enhanced Parameter Fusion for Class-Continual Learning [12.022673345835688]
  CCL(Class-Continual Learning)は、モデルが従来のクラスを維持しながら、新しいクラスの知識を継続的に学習することを可能にする。 従来のCCLメソッドは視覚的特徴に依存しており、複雑なマルチモーダルシナリオでの有効性を制限している。 動的知識融合を行う拡張パラメータ融合のためのフレームワークであるCalFuseを提案する。
  論文  参考訳（メタデータ） (2025-03-24T13:44:12Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs [0.0]
  本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。 L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。 実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
  論文  参考訳（メタデータ） (2023-12-21T01:47:49Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。