論文の概要: Debiased Prompt Tuning in Vision-Language Model without Annotations

• arxiv url: http://arxiv.org/abs/2503.08368v1
• Date: Tue, 11 Mar 2025 12:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:42:48.441056
• Title: Debiased Prompt Tuning in Vision-Language Model without Annotations
• Title（参考訳）: アノテーションのない視覚言語モデルにおけるデバイアスドプロンプトチューニング
• Authors: Chaoquan Jiang, Yunfan Yang, Rui Hu, Jitao Sang,
• Abstract要約: VLM(Vision-Language Models)は、素早い相関の問題に悩まされる可能性がある。 擬似純粋属性アノテーションを利用することで,異なるグループのトレーニング重みを自動調整する手法を提案する。 提案手法は,CelebA,Waterbirds,MetaShiftのデータセットにおける最悪のグループ精度を効率的に向上する。
• 参考スコア（独自算出の注目度）: 14.811475313694041
• License:
• Abstract: Prompt tuning of Vision-Language Models (VLMs) such as CLIP, has demonstrated the ability to rapidly adapt to various downstream tasks. However, recent studies indicate that tuned VLMs may suffer from the problem of spurious correlations, where the model relies on spurious features (e.g. background and gender) in the data. This may lead to the model having worse robustness in out-of-distribution data. Standard methods for eliminating spurious correlation typically require us to know the spurious attribute labels of each sample, which is hard in the real world. In this work, we explore improving the group robustness of prompt tuning in VLMs without relying on manual annotation of spurious features. We notice the zero - shot image recognition ability of VLMs and use this ability to identify spurious features, thus avoiding the cost of manual annotation. By leveraging pseudo-spurious attribute annotations, we further propose a method to automatically adjust the training weights of different groups. Extensive experiments show that our approach efficiently improves the worst-group accuracy on CelebA, Waterbirds, and MetaShift datasets, achieving the best robustness gap between the worst-group accuracy and the overall accuracy.
• Abstract（参考訳）: CLIPのようなVLM(Vision-Language Models)のプロンプトチューニングは、様々な下流タスクに迅速に適応できることを実証している。 しかし、最近の研究では、調整されたVLMは、データ内の刺激的な特徴(例えば、背景と性別)に依存するような、刺激的な相関の問題に悩まされている可能性が示唆されている。 これにより、アウト・オブ・ディストリビューションデータの堅牢性が悪化する可能性がある。 突発的相関をなくすための標準的な方法は、通常、実世界では難しい各サンプルの突発的属性ラベルを知る必要がある。 本研究では,VLMにおけるアクシデントチューニングにおけるグループロバスト性の改善を,スプリアス特徴のマニュアルアノテーションに頼らずに検討する。 我々は、VLMのゼロショット画像認識能力に気づき、この能力を用いて、手作業によるアノテーションのコストを回避する。 擬似スパース属性アノテーションを活用することにより,異なるグループのトレーニング重みを自動的に調整する手法を提案する。 大規模な実験により,CelebA,Waterbirds,MetaShiftのデータセットにおける最悪のグループ精度を効率よく向上し,最悪のグループ精度と全体的な精度の最良のロバスト性ギャップを達成できることが示された。

関連論文リスト

• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Improving the Adversarial Robustness of NLP Models by Information Bottleneck [112.44039792098579]
  非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。 本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。 情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-11T12:12:20Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。