論文の概要: AGC: Adaptive Geodesic Correction for Adversarial Robustness on Vision-Language Models
- arxiv url: http://arxiv.org/abs/2605.15584v1
- Date: Fri, 15 May 2026 03:48:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.162452
- Title: AGC: Adaptive Geodesic Correction for Adversarial Robustness on Vision-Language Models
- Title(参考訳): AGC:視覚・言語モデルにおける逆ロバスト性に対する適応的測地補正
- Authors: Zhiwei Li, Jiacheng Xue, Weining Wang, Ajian Liu, Xingyu Gao, Zhenan Sun, Qi Li,
- Abstract要約: AGCは8つのきめ細かいデータセットと3つのCLIPバックボーンで優れたパフォーマンスを実現している。
以上の結果から,CLIP機能の基本的幾何学的性質が明らかとなり,ロバストなマルチモーダルデプロイメントのための高効率かつ効果的なパラダイムが提供される。
- 参考スコア(独自算出の注目度): 38.50355675955809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models like CLIP have demonstrated remarkable zero-shot transfer capabilities. However, their susceptibility to imperceptible adversarial perturbations remains a critical security concern. While test-time defenses offer a pragmatic solution for deployed models, existing approaches typically rely on gradient-based optimization during inference, incurring significant computational overhead. In this paper, we revisit the role of data augmentation in CLIP robustness and observe that augmentations are not equally effective: specific augmentations consistently provide robust geometric cues that align with correct class semantics in the hyperspherical feature space. Based on this, we propose Adaptive Geodesic Correction (AGC), a training-free defense mechanism that requires no parameter updates. AGC identifies a reliable augmentation as a geometric anchor and corrects the input feature towards it, utilizing an adaptive step size to balance robustness against clean accuracy preservation. AGC achieves superior performance across eight fine-grained datasets and three CLIP backbones, improving average robust accuracy by 44.4\% over state-of-the-art baseline while delivering a 10$\times$ reduction in inference latency. Our findings reveal a fundamental geometric property of CLIP features, offering a highly efficient and effective paradigm for robust multimodal deployment.
- Abstract(参考訳): CLIPのようなヴィジュアル言語モデルは、驚くべきゼロショット転送機能を示している。
しかし、認識不能な敵対的摂動への感受性は、依然として重要なセキュリティ上の懸念である。
テスト時のディフェンスは、デプロイされたモデルに対して実用的なソリューションを提供するが、既存のアプローチは通常、推論中に勾配ベースの最適化に依存し、計算オーバーヘッドが大幅に増加する。
本稿では、CLIPのロバスト性におけるデータ拡張の役割を再考し、拡張が等しく効果的でないことを観察する。
そこで本研究では,パラメータ更新を必要としない無訓練防衛機構であるAdaptive Geodesic Correction (AGC)を提案する。
AGCは、信頼性の高い拡張を幾何アンカーとして識別し、適応的なステップサイズを利用して、クリーンな精度保存に対するロバスト性のバランスをとる。
AGCは8つのきめ細かいデータセットと3つのCLIPバックボーンで優れたパフォーマンスを実現し、最先端のベースラインよりも平均ロバストな精度を44.4\%向上し、推論レイテンシを10$\times$削減した。
以上の結果から,CLIP機能の基本的幾何学的性質が明らかとなり,ロバストなマルチモーダルデプロイメントのための高効率かつ効果的なパラダイムが提供される。
関連論文リスト
- The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models [33.10473765967503]
一般化保存法はID/OOD性能を維持するが、敵攻撃に弱いモデルを残す。
我々の重要な洞察は、ロバスト性トレードオフは、パラメータ空間における鋭く異方性のある最小値と、摂動下で変形する不安定な特徴表現の2つの幾何学的失敗に由来するということである。
本稿では,パラメータ空間の曲率と特徴空間の不変性を協調的に正規化する,統一的な微調整フレームワークGRACEを提案する。
論文 参考訳(メタデータ) (2026-03-28T05:22:00Z) - ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation [3.8707695363745214]
ReHARKは、グローバルな近位正規化を通じて、少数ショット適応を再解釈する、トレーニング不要のフレームワークである。
ワンショット適応のための新しい最先端技術がReHARKによって確立され、平均精度は65.83%である。
論文 参考訳(メタデータ) (2026-03-12T04:59:09Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2026-02-01T12:56:10Z) - EAGER: Edge-Aligned LLM Defense for Robust, Efficient, and Accurate Cybersecurity Question Answering [10.78145758065258]
EAGERは、パラメータ効率の量子化とドメイン固有の優先順位アライメントを統合し、効率、堅牢性、精度を共同で最適化する。
実験により、EAGERは敵の攻撃成功率を最大7.3倍に下げ、最先端の防御よりもQAの精度を最大55%向上させることが示された。
論文 参考訳(メタデータ) (2025-11-24T06:49:48Z) - UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。
我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。
不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
論文 参考訳(メタデータ) (2024-10-03T17:39:38Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳(メタデータ) (2024-07-11T10:35:53Z) - $α$-OCC: Uncertainty-Aware Camera-based 3D Semantic Occupancy Prediction [32.78977564877008]
カメラによる3Dセマンティック占領予測(OCC)は,限られた観測からシーン形状と意味を推定することを目的としている。
最初にDepth-UPを紹介します。これは、最大11.58%の幾何補完を改善する不確実性伝播フレームワークです。
不確実性(UQ)のために,OCCデータセットの高レベルクラス不均衡を効果的に扱う階層的整合予測(HCP)手法を提案する。
論文 参考訳(メタデータ) (2024-06-16T17:27:45Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。