論文の概要: LipSim: A Provably Robust Perceptual Similarity Metric

• arxiv url: http://arxiv.org/abs/2310.18274v2
• Date: Fri, 29 Mar 2024 17:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 20:26:59.933141
• Title: LipSim: A Provably Robust Perceptual Similarity Metric
• Title（参考訳）: LipSim: 知覚的類似性メトリクスはおそらくロバストなものだ
• Authors: Sara Ghazanfari, Alexandre Araujo, Prashanth Krishnamurthy, Farshad Khorrami, Siddharth Garg,
• Abstract要約: 敵攻撃に対するViTベースの特徴抽出器のアンサンブルに基づく,最先端の知覚的類似度指標の脆弱性を示す。 次に、証明可能な保証とともに、LipSimと呼ばれる堅牢な知覚的類似度メトリックをトレーニングするためのフレームワークを提案する。 LipSimは、各データポイント周辺の保護された領域と、$ell$ ball内のすべての摂動の証明書を提供する。
• 参考スコア（独自算出の注目度）: 56.03417732498859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen growing interest in developing and applying perceptual similarity metrics. Research has shown the superiority of perceptual metrics over pixel-wise metrics in aligning with human perception and serving as a proxy for the human visual system. On the other hand, as perceptual metrics rely on neural networks, there is a growing concern regarding their resilience, given the established vulnerability of neural networks to adversarial attacks. It is indeed logical to infer that perceptual metrics may inherit both the strengths and shortcomings of neural networks. In this work, we demonstrate the vulnerability of state-of-the-art perceptual similarity metrics based on an ensemble of ViT-based feature extractors to adversarial attacks. We then propose a framework to train a robust perceptual similarity metric called LipSim (Lipschitz Similarity Metric) with provable guarantees. By leveraging 1-Lipschitz neural networks as the backbone, LipSim provides guarded areas around each data point and certificates for all perturbations within an $\ell_2$ ball. Finally, a comprehensive set of experiments shows the performance of LipSim in terms of natural and certified scores and on the image retrieval application. The code is available at https://github.com/SaraGhazanfari/LipSim.
• Abstract（参考訳）: 近年、知覚的類似度指標の開発と適用への関心が高まっている。 人間の知覚と整合し、人間の視覚システムのプロキシとして機能する上で、ピクセル単位のメトリクスよりも知覚的メトリクスの方が優れていることが研究で示されている。 一方、知覚的メトリクスはニューラルネットワークに依存しているため、ニューラルネットワークの敵攻撃に対する脆弱性が確立していることを考えると、そのレジリエンスに対する懸念が高まっている。 知覚的メトリクスがニューラルネットワークの長所と短所の両方を継承する可能性があると推測するのは理にかなっている。 本研究では,ViTをベースとした特徴抽出器のアンサンブルに基づく,最先端の知覚的類似度指標の脆弱性を実証する。 次に、証明可能な保証とともに、LipSim(Lipschitz similarity Metric)と呼ばれる堅牢な知覚類似度メトリックをトレーニングするためのフレームワークを提案する。 1-Lipschitzニューラルネットワークをバックボーンとして活用することにより、LipSimは各データポイント周辺の保護された領域と、$\ell_2$ボール内のすべての摂動の証明書を提供する。 最後に、実験の総合的なセットは、自然および認定されたスコアと画像検索アプリケーションにおけるLipSimの性能を示す。 コードはhttps://github.com/SaraGhazanfari/LipSimで入手できる。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• R-LPIPS: An Adversarially Robust Perceptual Similarity Metric [71.33812578529006]
  本稿では,Robust Learned Perceptual Image Patch similarity(R-LPIPS)メトリクスを提案する。 R-LPIPSは、敵対的に訓練された深い特徴を活用する新しい指標である。 従来のLPIPSメトリックと比較して,R-LPIPSの優位性を示す。
  論文  参考訳（メタデータ） (2023-07-27T19:11:31Z)
• Stochastic Surprisal: An inferential measurement of Free Energy in Neural Networks [18.32369721322249]
  本稿では、教師付きニューラルネットワークにおける推論中の動作を可能にするフレームワークを推測し、検証する。 本稿では,ネットワーク,入力,および可能な動作の関数であるsusprisalと呼ばれる新しい測定方法を提案する。 ノイズ特性は頑健な認識のために無視されるが、品質スコアを推定するために分析されることが示されている。
  論文  参考訳（メタデータ） (2023-02-11T20:41:05Z)
• Representational dissimilarity metric spaces for stochastic neural networks [4.229248343585332]
  神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。 形状メトリクスを一般化して表現の違いを定量化する。 神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
  論文  参考訳（メタデータ） (2022-11-21T17:32:40Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Shift-tolerant Perceptual Similarity Metric [5.326626090397465]
  既存の知覚的類似度指標は、画像とその参照がよく一致していると仮定する。 本稿では,入力画像と参照画像の小さなずれが既存の指標に与える影響について検討する。 我々は,新しいディープニューラルネットワークに基づく知覚的類似度測定法を開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:55:04Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。