論文の概要: Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.00591v1
• Date: Fri, 01 May 2026 11:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.937933
• Title: Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおけるラベル・ノイズ・プロンプトチューニングの固有勾配抑制
• Authors: Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua,
• Abstract要約: DSPTは,高誤差雑音のサンプルから勾配を抑える自己適応飽和領域を誘導することを示した。 大規模な実験により、このシンプルなドロップイン設計は様々なノイズのあるベンチマークで最先端の堅牢性を実現することが確認された。
• 参考スコア（独自算出の注目度）: 26.29904418630642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive vision-language models like CLIP exhibit remarkable zero-shot generalization. However, prompt tuning remains highly sensitive to label noise, as mislabeled samples generate disproportionately large gradients that can overwhelm pre-trained priors. We argue that because CLIP already provides a near-optimal initialization, adaptation should be inherently conservative, particularly against the extreme gradient updates common in noisy settings. To this end, we propose Double-Softmax Prompt Tuning (DSPT), a hyperparameter-free method for intrinsic gradient suppression. By applying a sequential probabilistic normalization, DSPT induces a self-adaptive saturation zone that suppresses gradients from high-error noisy samples while maintaining informative updates. We also provide both theoretical analysis and empirical evidence about how this mechanism achieves adaptive suppression. This design transforms ``gradient vanishing'', traditionally a training bottleneck, into a principled noise-filtering shield for label-noise prompt tuning. Extensive experiments confirm that this simple, drop-in design achieves state-of-the-art robustness across various noisy benchmarks, outperforming methods with complex architectures and handcrafted hyperparameters.
• Abstract（参考訳）: CLIPのような対照的な視覚言語モデルは、顕著なゼロショットの一般化を示している。 しかし、ラベル付きサンプルが不均等なほど大きな勾配を生成し、事前訓練された先行を圧倒してしまうため、迅速なチューニングはラベルノイズに非常に敏感なままである。 私たちは、CLIPが既にほぼ最適初期化を提供しているので、適応は本質的に保守的であり、特にノイズの多い設定で一般的な極端な勾配更新に対してである、と論じています。 そこで本研究では,直交勾配抑制のための超パラメータフリー手法であるDouble-Softmax Prompt Tuning (DSPT)を提案する。 シーケンシャル確率正規化を適用することで、DSPTは、情報更新を維持しながら、ハイエラーノイズサンプルからの勾配を抑制する自己適応飽和ゾーンを誘導する。 また,このメカニズムが適応的抑制をいかに達成するかに関する理論的解析と実証的な証拠も提供する。 この設計は、伝統的に訓練のボトルネックであった '`gradient vanishing'' を、ラベルノイズの即時チューニングのための原則付きノイズフィルタリングシールドに変換する。 大規模な実験により、このシンプルなドロップイン設計は、様々なノイズのあるベンチマーク、複雑なアーキテクチャと手作りのハイパーパラメータによる性能向上など、最先端の堅牢性を実現することが確認された。

関連論文リスト

• Spike-NVPT: Learning Robust Visual Prompts via Bio-Inspired Temporal Filtering and Discretization [24.554578138499352]
  ノイズロストな視覚的プロンプトチューニング手法であるSpike-NVPTを提案する。 Spike-NVPTは従来の手法よりも最大で11.2%向上した。
  論文  参考訳（メタデータ） (2026-04-20T13:56:57Z)
• Optimized Gradient Clipping for Noisy Label Learning [26.463965846251938]
  我々はOGC(Optimized Gradient Clipping)と呼ばれるシンプルだが効果的なアプローチを提案する。 OGCは、クリッピング後のクリーン勾配に対するノイズ勾配の比に基づいて、クリッピング閾値を動的に調整する。 実験は, 対称, 非対称, インスタンス依存, 実世界の雑音など, 様々な種類のラベルノイズにまたがって, OGCの有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-12T05:08:05Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。