論文の概要: Improving Equivariance in State-of-the-Art Supervised Depth and Normal Predictors

• arxiv url: http://arxiv.org/abs/2309.16646v1
• Date: Thu, 28 Sep 2023 17:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 12:56:22.524038
• Title: Improving Equivariance in State-of-the-Art Supervised Depth and Normal Predictors
• Title（参考訳）: 最先端監視深度と正規予測器の等分散性の改善
• Authors: Yuanyi Zhong, Anand Bhattad, Yu-Xiong Wang, David Forsyth
• Abstract要約: 最先端の深度と正規の予測器は、性能が強いにもかかわらず、驚くほど同値ではないことがわかった。 これを改善するために,平均化手順と自己整合性損失からなる同変正則化手法を提案する。 我々のアプローチはCNNとTransformerアーキテクチャの両方に適用でき、テスト中に余分なコストがかからず、教師付きおよび半教師付き学習性能が向上する。
• 参考スコア（独自算出の注目度）: 29.562054614079788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense depth and surface normal predictors should possess the equivariant property to cropping-and-resizing -- cropping the input image should result in cropping the same output image. However, we find that state-of-the-art depth and normal predictors, despite having strong performances, surprisingly do not respect equivariance. The problem exists even when crop-and-resize data augmentation is employed during training. To remedy this, we propose an equivariant regularization technique, consisting of an averaging procedure and a self-consistency loss, to explicitly promote cropping-and-resizing equivariance in depth and normal networks. Our approach can be applied to both CNN and Transformer architectures, does not incur extra cost during testing, and notably improves the supervised and semi-supervised learning performance of dense predictors on Taskonomy tasks. Finally, finetuning with our loss on unlabeled images improves not only equivariance but also accuracy of state-of-the-art depth and normal predictors when evaluated on NYU-v2. GitHub link: https://github.com/mikuhatsune/equivariance
• Abstract（参考訳）: 深度と表面の正常な予測器は、トリミングとリサイズに対する同変特性を持つべきであり、入力画像のトリミングは、同じ出力画像のトリミングをもたらす。 しかし、最先端の深度と通常の予測器は、性能が強いにもかかわらず、驚くほど同値ではない。 この問題は、トレーニング中に作物とサイズのデータ拡張が採用されている場合でも存在する。 そこで本研究では,平均化手法と自己整合性損失からなる同変正規化手法を提案する。 我々のアプローチはCNNとTransformerアーキテクチャの両方に適用でき、テスト中に余分なコストがかからず、特にタスクマイノミータスクにおける高密度予測器の教師付きおよび半教師付き学習性能が向上する。 最後に,未ラベル画像の微細化により,NYU-v2で評価した場合,均一性だけでなく,最先端の深度や正規予測値の精度も向上する。 githubのリンク: https://github.com/mikuhatsune/equivariance

関連論文リスト

• Learning to Transform for Generalizable Instance-wise Invariance [48.647925994707855]
  どのような画像であっても、正規化フローを使用して変換上の分布を予測し、それらの上の予測を平均化する。 この正規化フローはエンドツーエンドでトレーニングされており、AugerinoやInstaAugよりもはるかに広い範囲の変換を学ぶことができる。 CIFAR10, CIFAR10-LT, TinyImageNetの精度とロバスト性向上を示す。
  論文  参考訳（メタデータ） (2023-09-28T17:59:58Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。