論文の概要: Training Image Derivatives: Increased Accuracy and Universal Robustness
- arxiv url: http://arxiv.org/abs/2310.14045v2
- Date: Mon, 27 Nov 2023 19:43:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 13:38:16.104816
- Title: Training Image Derivatives: Increased Accuracy and Universal Robustness
- Title（参考訳）: トレーニング画像導出物:精度の向上とユニバーサルロバストネス
- Authors: Vsevolod I. Avrutskiy
- Abstract要約: 微分学習は、低次元の応用においてニューラルネットワークの精度を大幅に向上させる既知の方法である。
本稿では,画像から立方体の頂点を再構成する画像解析問題に対して,同様の改良を行った。
デリバティブはまた、ロバストネスの問題に関する洞察を提供しており、現在は2種類のネットワーク脆弱性の観点から理解されている。
- 参考スコア（独自算出の注目度）: 3.9160947065896803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Derivative training is a known method that significantly improves the
accuracy of neural networks in some low-dimensional applications. In this
paper, a similar improvement is obtained for an image analysis problem:
reconstructing the vertices of a cube from its image. By training the
derivatives with respect to the 6 degrees of freedom of the cube, we obtain 25
times more accurate results for noiseless inputs. The derivatives also offer
insight into the robustness problem, which is currently understood in terms of
two types of network vulnerabilities. The first type involves small
perturbations that dramatically change the output, and the second type relates
to substantial image changes that the network erroneously ignores. Defense
against each is possible, but safeguarding against both while maintaining the
accuracy defies conventional training methods. The first type is analyzed using
the network's gradient, while the second relies on human input evaluation,
serving as an oracle substitute. For the task at hand, the nearest neighbor
oracle can be defined and expanded into Taylor series using image derivatives.
This allows for a robustness analysis that unifies both types of
vulnerabilities and enables training where accuracy and universal robustness
are limited only by network capacity.
- Abstract（参考訳）: 微分学習は、低次元の応用においてニューラルネットワークの精度を大幅に向上させる既知の方法である。
本稿では,画像から立方体の頂点を再構成する画像解析問題に対して,同様の改良を行った。
立方体の6自由度に関する導関数を訓練することにより、ノイズレス入力の25倍の精度が得られる。
このデリバティブは、現在2つのタイプのネットワーク脆弱性の観点から理解されているロバスト性の問題に対する洞察を提供する。
第1の型は出力を劇的に変更する小さな摂動を含み、第2の型はネットワークが誤って無視する実質的な画像変化に関連する。
それぞれの防御は可能であるが、精度を維持しながら両方の防御は従来の訓練方法に反している。
第1の型はネットワークの勾配を使って分析され、第2の型は人間の入力評価に依存し、oracleの代用として機能する。
手前のタスクでは、最寄りのoracleをイメージデリバティブを使って定義し、taylorシリーズに拡張できる。
これにより、両方のタイプの脆弱性を統合するロバストネス分析が可能になり、ネットワーク容量によって精度と普遍的なロバスト性が制限されるトレーニングが可能になる。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - Uncertainty Propagation through Trained Deep Neural Networks Using
Factor Graphs [4.704825771757308]
不確実性伝播は、入力不確かさをネットワーク予測に伝播させることにより、アレタリック不確かさを推定しようとする。
深層ニューラルネットワーク内の複雑な情報の流れに触発され,因子グラフを用いた非線形最適化問題として不確実性伝播を仮定して新しい手法を開発した。
論文 参考訳（メタデータ） (2023-12-10T17:26:27Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - THAT: Two Head Adversarial Training for Improving Robustness at Scale [126.06873298511425]
本研究では,大規模多クラスイメージネットデータセットを扱うために設計された2ストリームの逆学習ネットワークであるhead adversarial trainingを提案する。
提案手法では,2つのヘッドと2つの損失関数を持つネットワークを訓練する。1つは自然画像と逆画像間の特徴空間領域シフトを最小化し,もう1つは高い分類精度を促進する。
論文 参考訳（メタデータ） (2021-03-25T05:32:38Z) - Convex Regularization Behind Neural Reconstruction [21.369208659395042]
本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。
MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
論文 参考訳（メタデータ） (2020-12-09T16:57:16Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳（メタデータ） (2020-09-18T17:52:34Z) - Second Order Optimization for Adversarial Robustness and
Interpretability [6.700873164609009]
本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。
正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。
それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
論文 参考訳（メタデータ） (2020-09-10T15:05:14Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z) - Uncertainty Quantification in Deep Residual Neural Networks [0.0]
不確かさの定量化は、ディープラーニングにおいて重要で困難な問題である。
以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。
本研究では,ニューラルネットワークの後方重みに対する変動近似として,深度を用いた残留ネットワークのトレーニングが可能であることを示す。
論文 参考訳（メタデータ） (2020-07-09T16:05:37Z) - Hidden Cost of Randomized Smoothing [72.93630656906599]
本稿では、現在のランダム化平滑化による副作用を指摘する。
具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
論文 参考訳（メタデータ） (2020-03-02T23:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。