論文の概要: LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders

• arxiv url: http://arxiv.org/abs/2505.18884v1
• Date: Sat, 24 May 2025 21:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.725537
• Title: LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders
• Title（参考訳）: LORE: ビジュアルエンコーダのためのラグランジアン最適化ロバスト埋め込み
• Authors: Borna Khodabandeh, Amirabbas Afzali, Amirhossein Afsharrad, Seyed Shahabeddin Mousavi, Sanjay Lall, Sajjad Amini, Seyed-Mohsen Moosavi-Dezfooli,
• Abstract要約: ラグランジアン・ド・ロバスト・エンベディング(LORE:Lagrangian-d Robust Embeddings)を提案する。 LOREは、クリーンデータ精度の低下を最小限に抑え、ゼロショット対逆ロバスト性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 11.01163097340578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual encoders have become fundamental components in modern computer vision pipelines. However, ensuring robustness against adversarial perturbations remains a critical challenge. Recent efforts have explored both supervised and unsupervised adversarial fine-tuning strategies. We identify two key limitations in these approaches: (i) they often suffer from instability, especially during the early stages of fine-tuning, resulting in suboptimal convergence and degraded performance on clean data, and (ii) they exhibit a suboptimal trade-off between robustness and clean data accuracy, hindering the simultaneous optimization of both objectives. To overcome these challenges, we propose Lagrangian-Optimized Robust Embeddings (LORE), a novel unsupervised adversarial fine-tuning framework. LORE utilizes constrained optimization, which offers a principled approach to balancing competing goals, such as improving robustness while preserving nominal performance. By enforcing embedding-space proximity constraints, LORE effectively maintains clean data performance throughout adversarial fine-tuning. Extensive experiments show that LORE significantly improves zero-shot adversarial robustness with minimal degradation in clean data accuracy. Furthermore, we demonstrate the effectiveness of the adversarially fine-tuned CLIP image encoder in out-of-distribution generalization and enhancing the interpretability of image embeddings.
• Abstract（参考訳）: ビジュアルエンコーダは現代のコンピュータビジョンパイプラインの基本コンポーネントとなっている。 しかし、敵の摂動に対する堅牢性を確保することは重要な課題である。 最近の研究は、教師なしと教師なしの両方の敵の微調整戦略を探求している。 これらのアプローチには2つの重要な制限がある。 一 しばしば不安定に苦しむこと、特に微調整の初期段階において、清潔なデータに対する最適下限収束と劣化性能をもたらすこと。 2) 両目的の同時最適化を妨げるため、ロバストネスとクリーンなデータの精度の中間のトレードオフを示す。 これらの課題を克服するために,新しい教師なし逆調整フレームワークであるLagrangian-Optimized Robust Embeddings (LORE)を提案する。 LOREは制約付き最適化を利用して、名目性能を維持しながらロバスト性を改善するなど、競合する目標のバランスをとるための原則的なアプローチを提供する。 埋め込み空間の近接制約を強制することにより、LOREは敵の微調整を通してクリーンなデータ性能を効果的に維持する。 広汎な実験により、LOREはクリーンデータ精度の低下を最小限に抑え、ゼロショット対向ロバスト性を大幅に改善することが示された。 さらに,超微調整CLIP画像エンコーダの分布外一般化および画像埋め込みの解釈性向上効果を示す。

関連論文リスト

• Pessimism Principle Can Be Effective: Towards a Framework for Zero-Shot Transfer Reinforcement Learning [12.927397451723719]
  伝達強化学習は、限られたデータを持つターゲット環境に対して、ほぼ最適ポリシーを導出することを目的としている。 転送されたポリシのパフォーマンス保証の欠如と、複数のソースドメインが関与している場合の負の転送のリスクだ。 本稿では、対象ドメインの性能を保守的に推定し最適化する悲観主義の原理に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T01:09:10Z)
• Adversarial Robustness for Unified Multi-Modal Encoders via Efficient Calibration [12.763688592842717]
  統合マルチモーダルエンコーダにおける敵の脆弱性の包括的研究について述べる。 音声や点雲などの視覚的でない入力は、特に脆弱である。 本手法は,エプシロン=4/255で最大47.3%の強靭性を向上する。
  論文  参考訳（メタデータ） (2025-05-17T08:26:04Z)
• E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。 最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Enhancing Infrared Small Target Detection Robustness with Bi-Level Adversarial Framework [61.34862133870934]
  本稿では,異なる汚職の存在下での検出の堅牢性を促進するために,二段階の対向的枠組みを提案する。 我々の手法は広範囲の汚職で21.96%のIOUを著しく改善し、特に一般ベンチマークで4.97%のIOUを推進している。
  論文  参考訳（メタデータ） (2023-09-03T06:35:07Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。