論文の概要: Fast Certification of Vision-Language Models Using Incremental
Randomized Smoothing
- arxiv url: http://arxiv.org/abs/2311.09024v2
- Date: Thu, 4 Jan 2024 09:54:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 17:09:08.373698
- Title: Fast Certification of Vision-Language Models Using Incremental
Randomized Smoothing
- Title（参考訳）: 増分ランダム化平滑化による視覚言語モデルの高速認証
- Authors: A K Nirala (1), A Joshi (2), C Hegde (2), S Sarkar (1) ((1) Iowa State
University, (2) New York University)
- Abstract要約: 私たちはCLIPのようなオープン語彙モデルの高速認証手法であるOpen Vocabulary Certification (OVC)を紹介した。
OVCは、新しいプロンプトを持つ分類器が、ベーストレーニングセット内の近くの分類器の摂動バージョンと見なせるという観察に依存している。
CIFAR-10およびImageNetテストデータセット上で、複数の視覚言語バックボーンを用いた実験評価により、OVCの有効性を実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: A key benefit of deep vision-language models such as CLIP is that they enable
zero-shot open vocabulary classification; the user has the ability to define
novel class labels via natural language prompts at inference time. However,
while CLIP-based zero-shot classifiers have demonstrated competitive
performance across a range of domain shifts, they remain highly vulnerable to
adversarial attacks. Therefore, ensuring the robustness of such models is
crucial for their reliable deployment in the wild.
In this work, we introduce Open Vocabulary Certification (OVC), a fast
certification method designed for open-vocabulary models like CLIP via
randomized smoothing techniques. Given a base "training" set of prompts and
their corresponding certified CLIP classifiers, OVC relies on the observation
that a classifier with a novel prompt can be viewed as a perturbed version of
nearby classifiers in the base training set. Therefore, OVC can rapidly certify
the novel classifier using a variation of incremental randomized smoothing. By
using a caching trick, we achieve approximately two orders of magnitude
acceleration in the certification process for novel prompts. To achieve further
(heuristic) speedups, OVC approximates the embedding space at a given input
using a multivariate normal distribution bypassing the need for sampling via
forward passes through the vision backbone. We demonstrate the effectiveness of
OVC on through experimental evaluation using multiple vision-language backbones
on the CIFAR-10 and ImageNet test datasets.
- Abstract（参考訳）: CLIPのような深い視覚言語モデルの大きな利点は、ゼロショットのオープン語彙分類を可能にすることである。
しかし、CLIPベースのゼロショット分類器は、さまざまなドメインシフトで競合性能を示しているが、敵攻撃に対して非常に脆弱である。
したがって、そのようなモデルの堅牢性を保証することは、その信頼性の高いデプロイに不可欠である。
本稿では,CLIP などのオープン語彙モデルを対象とした高速認証手法である Open Vocabulary Certification (OVC) を紹介する。
プロンプトのベース"トレーニング"セットとそれに対応するCLIP分類器が与えられた場合、OVCは、新しいプロンプトを持つ分類器がベーストレーニングセット内の近くの分類器の摂動バージョンと見なせるという観察に依存している。
したがって、OVCは漸進的ランダム化スムーシングのバリエーションを用いて、新しい分類器を迅速に認証することができる。
キャッシング手法を用いて,新規プロンプトの認証プロセスにおいて,約2桁の高速化を実現する。
さらに(ヒューリスティックな)スピードアップを達成するために、OVCは視覚バックボーンを通る前方通過によるサンプリングの必要性を回避し、多変量正規分布を用いて与えられた入力における埋め込み空間を近似する。
CIFAR-10およびImageNetテストデータセット上で、複数の視覚言語バックボーンを用いて実験評価を行い、OVCの有効性を示す。
関連論文リスト
- CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。
変分オートエンコーダを用いてクラス条件分布を学習する。
このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:51:28Z) - OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer [63.141027246418]
本稿では,OVLW-DETR(Open-Vocabulary Light-Weighted Detection Transformer)を提案する。
本稿では,視覚言語モデル(VLM)からオブジェクト検出器への知識伝達を簡易なアライメントで行うエンド・ツー・エンドのトレーニングレシピを提案する。
実験により,提案手法は標準ゼロショットLVISベンチマークにおいて,既存の実時間開語彙検出器よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-07-15T12:15:27Z) - BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。
BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。
我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
論文 参考訳（メタデータ） (2024-06-17T08:16:24Z) - Semantic Residual Prompts for Continual Learning [21.986800282078498]
提案手法は,最先端CLアプローチとゼロショットCLIPテストの両方で有意に優れていた。
我々の発見は、バックボーンモデルの事前学習知識に相当な領域ギャップを持つデータセットにも当てはまる。
論文 参考訳（メタデータ） (2024-03-11T16:23:38Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-24T17:56:46Z) - Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。
また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。
提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
論文 参考訳（メタデータ） (2023-03-16T09:51:41Z) - Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。
我々のモデルは最先端の代替品を著しく上回っている。
我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
論文 参考訳（メタデータ） (2022-07-17T13:59:46Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳（メタデータ） (2021-03-30T00:48:28Z) - A comparison of self-supervised speech representations as input features
for unsupervised acoustic word embeddings [32.59716743279858]
私たちは、短い時間枠レベルで表現学習を見ます。
最近のアプローチには、自己監視型予測符号化および対応オートエンコーダ(CAE)モデルが含まれる。
コントラスト予測符号化(CPC)、オートレグレッシブ予測符号化、CAEなどのフレームレベルの特徴を従来のMFCCと比較します。
論文 参考訳（メタデータ） (2020-12-14T10:17:25Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳（メタデータ） (2020-10-25T00:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。