論文の概要: Small in-distribution changes in 3D perspective and lighting fool both CNNs and Transformers

• arxiv url: http://arxiv.org/abs/2106.16198v1
• Date: Wed, 30 Jun 2021 16:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 13:49:48.474388
• Title: Small in-distribution changes in 3D perspective and lighting fool both CNNs and Transformers
• Title（参考訳）: 3次元視界の小さな分布変化と照明はCNNとトランスフォーマーの両方を騙す
• Authors: Spandan Madan, Tomotake Sasaki, Tzu-Mao Li, Xavier Boix, Hanspeter Pfister
• Abstract要約: ネットワークは、小さな3D視点の変化や照明の変化に対して脆弱であることを示す。 我々は、CMA-Searchと呼ばれる進化戦略(ES)ベースのアプローチを導入する。 我々は、ResNetとOpenAIのCLIPモデルの両方に対して、ImageNet画像の近傍で誤分類を見つけるために、この手法を拡張した。
• 参考スコア（独自算出の注目度）: 25.637284029226493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are susceptible to small transformations including 2D rotations and shifts, image crops, and even changes in object colors. This is often attributed to biases in the training dataset, and the lack of 2D shift-invariance due to not respecting the sampling theorem. In this paper, we challenge this hypothesis by training and testing on unbiased datasets, and showing that networks are brittle to both small 3D perspective changes and lighting variations which cannot be explained by dataset bias or lack of shift-invariance. To find these in-distribution errors, we introduce an evolution strategies (ES) based approach, which we call CMA-Search. Despite training with a large-scale (0.5 million images), unbiased dataset of camera and light variations, in over 71% cases CMA-Search can find camera parameters in the vicinity of a correctly classified image which lead to in-distribution misclassifications with < 3.6% change in parameters. With lighting changes, CMA-Search finds misclassifications in 33% cases with < 11.6% change in parameters. Finally, we extend this method to find misclassifications in the vicinity of ImageNet images for both ResNet and OpenAI's CLIP model.
• Abstract（参考訳）: ニューラルネットワークは、2次元回転やシフト、画像作物、さらにはオブジェクトの色の変化など、小さな変換に影響を受けやすい。 これは、トレーニングデータセットのバイアスと、サンプリング定理を尊重しないため、2次元シフト不変性の欠如に起因することが多い。 本稿では,偏りのないデータセットをトレーニングし,テストすることで,ネットワークが小さな3次元視点の変化や,データセットのバイアスやシフト不変性の欠如で説明できない光の変動に対して脆弱であることを示す。 これらの分散エラーを見つけるために,我々はCMA-Searchと呼ぶ進化戦略(ES)ベースのアプローチを導入する。 大規模(0.5万枚の画像)でのトレーニング、カメラの偏りのないデータセットと光の変動にもかかわらず、71%以上のケースでCMA-Searchは、正しく分類された画像の近傍でカメラパラメータを見つけることができ、パラメータが3.6%変化した。 照明の変更により、CMA-Searchはパラメータが11.6%以下の33%のケースで誤分類を発見した。 最後に、この手法を拡張して、ResNetとOpenAIのCLIPモデルの両方に対して、ImageNet画像の近傍で誤分類を見つける。

関連論文リスト

• Latent Drifting in Diffusion Models for Counterfactual Medical Image Synthesis [55.959002385347645]
  大規模なデータセットのトレーニングによるスケーリングは、画像生成の品質と忠実度を高め、拡散モデルによる操作を可能にすることが示されている。 遅延ドリフトにより、医療画像に対して拡散モデルを条件付けし、反ファクト画像生成の複雑なタスクに適合させることができる。 本研究は,異なる微調整方式と組み合わせた場合,様々なシナリオにおいて顕著な性能向上を示すものである。
  論文  参考訳（メタデータ） (2024-12-30T01:59:34Z)
• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Diffusion-based Image Generation for In-distribution Data Augmentation in Surface Defect Detection [8.93281936150572]
  産業シナリオにおいて拡散モデルを用いてデータ拡張の手順を改善することができることを示す。 そこで本研究では,アウト・オブ・ディストリビューションとイン・ディストリビューション・サンプルを混合したデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T17:09:18Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• On quantifying and improving realism of images generated with diffusion [50.37578424163951]
  与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。 IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。 我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。 このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
  論文  参考訳（メタデータ） (2023-09-26T08:32:55Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Fast Unsupervised Brain Anomaly Detection and Segmentation with Diffusion Models [1.6352599467675781]
  脳画像における異常検出とセグメント分割のための拡散モデルに基づく手法を提案する。 拡散モデルは,2次元CTおよびMRIデータを用いた一連の実験において,自己回帰的アプローチと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2022-06-07T17:30:43Z)
• Anomaly Detection in Image Datasets Using Convolutional Neural Networks, Center Loss, and Mahalanobis Distance [0.0]
  ユーザーアクティビティは、品質や無関係な画像やデータベクターのかなりの数を生成します。 ニューラルネットワークの場合、異常は通常分布外サンプルとして定義される。 本研究では,画像データセットにおける非分布サンプルの監督的および半監督的検出手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T13:44:03Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。