論文の概要: Training Image Derivatives: Increased Accuracy and Universal Robustness
- arxiv url: http://arxiv.org/abs/2310.14045v1
- Date: Sat, 21 Oct 2023 15:43:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 02:12:11.308655
- Title: Training Image Derivatives: Increased Accuracy and Universal Robustness
- Title（参考訳）: トレーニング画像導出物:精度の向上とユニバーサルロバストネス
- Authors: Vsevolod I. Avrutskiy
- Abstract要約: デリバティブトレーニングは、ニューラルネットワークの精度を改善するためのよく知られた方法である。
本稿では,その画像に基づいて立方体の頂点を再構築する作業について考察する。
立方体の6自由度に関する導関数を訓練することにより、ノイズレス入力の25倍の精度が得られる。
- 参考スコア（独自算出の注目度）: 3.9160947065896803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Derivative training is a well-known method to improve the accuracy of neural
networks. In the forward pass, not only the output values are computed, but
also their derivatives, and their deviations from the target derivatives are
included in the cost function, which is minimized with respect to the weights
by a gradient-based algorithm. So far, this method has been implemented for
relatively low-dimensional tasks. In this study, we apply the approach to the
problem of image analysis. We consider the task of reconstructing the vertices
of a cube based on its image. By training the derivatives with respect to the 6
degrees of freedom of the cube, we obtain 25 times more accurate results for
noiseless inputs. The derivatives also provide important insights into the
robustness problem, which is currently understood in terms of two types of
network vulnerabilities. The first type is small perturbations that
dramatically change the output, and the second type is substantial image
changes that the network erroneously ignores. They are currently considered as
conflicting goals, since conventional training methods produce a trade-off. The
first type can be analyzed via the gradient of the network, but the second type
requires human evaluation of the inputs, which is an oracle substitute. For the
task at hand, the nearest neighbor oracle can be defined, and the knowledge of
derivatives allows it to be expanded into Taylor series. This allows to perform
the first-order robustness analysis that unifies both types of vulnerabilities,
and to implement robust training that eliminates any trade-offs, so that
accuracy and robustness are limited only by network capacity.
- Abstract（参考訳）: デリバティブトレーニングは、ニューラルネットワークの精度を改善するためのよく知られた方法である。
フォワードパスでは、出力値だけでなく、それらの導関数も計算され、それらの対象導関数からの偏差は、勾配に基づくアルゴリズムによって重み付けに対して最小化されたコスト関数に含まれる。
これまでのところ、この方法は比較的低次元のタスクに実装されている。
本研究では,画像解析の問題にアプローチを適用する。
我々はその画像に基づいて立方体の頂点を再構築する作業を検討する。
立方体の6自由度に関する導関数を訓練することにより、ノイズレス入力の25倍の精度が得られる。
デリバティブはまた、2種類のネットワーク脆弱性の観点から現在理解されているロバストネス問題に関する重要な洞察を提供する。
第1の型は出力を劇的に変更する小さな摂動であり、第2の型はネットワークが誤って無視する実質的な画像変化である。
従来の訓練方法はトレードオフをもたらすため、現在は矛盾する目標とみなされている。
第1のタイプはネットワークの勾配を通して解析できるが、第2のタイプは、オラクル代替品である入力の人間による評価を必要とする。
手前のタスクでは、最寄りのオラクルを定義することができ、デリバティブの知識により、テイラー級数に拡張できる。
これにより、両方の脆弱性を統一する一階のロバストネス分析を実行し、いかなるトレードオフも排除するロバストトレーニングを実行し、正確性とロバスト性はネットワーク容量によってのみ制限される。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - Ambiguity in solving imaging inverse problems with deep learning based
operators [0.0]
大規模な畳み込みニューラルネットワークは、画像分解のためのツールとして広く利用されている。
画像の劣化は, 逆問題として数学的にモデル化され, ノイズがデータに与える影響を近似することは困難である。
本稿では,深層学習に基づく画像の復号化に多くの精度を損なうことなく,安定性を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T12:07:08Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - THAT: Two Head Adversarial Training for Improving Robustness at Scale [126.06873298511425]
本研究では,大規模多クラスイメージネットデータセットを扱うために設計された2ストリームの逆学習ネットワークであるhead adversarial trainingを提案する。
提案手法では,2つのヘッドと2つの損失関数を持つネットワークを訓練する。1つは自然画像と逆画像間の特徴空間領域シフトを最小化し,もう1つは高い分類精度を促進する。
論文 参考訳（メタデータ） (2021-03-25T05:32:38Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - NeuroDiff: Scalable Differential Verification of Neural Networks using
Fine-Grained Approximation [18.653663583989122]
NeuroDiffは、差分検証の精度を大幅に向上させる、象徴的できめ細かな近似技術である。
以上の結果から,NeuroDiffは最先端のツールよりも1000倍高速で5倍精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-09-21T15:00:25Z) - Second Order Optimization for Adversarial Robustness and
Interpretability [6.700873164609009]
本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。
正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。
それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
論文 参考訳（メタデータ） (2020-09-10T15:05:14Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳（メタデータ） (2020-07-13T04:27:25Z) - Hidden Cost of Randomized Smoothing [72.93630656906599]
本稿では、現在のランダム化平滑化による副作用を指摘する。
具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
論文 参考訳（メタデータ） (2020-03-02T23:37:42Z) - Semantic Robustness of Models of Source Code [44.08472936613909]
深層ニューラルネットワークは敵の例に弱い - 誤った予測をもたらす小さな入力摂動だ。
このような敵に頑健なモデルを学習するために、敵の訓練を行う方法を示す。
論文 参考訳（メタデータ） (2020-02-07T23:26:17Z) - ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
我々は2つの密接に関連するネットワークの差分検証法を開発した。
我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。
実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
論文 参考訳（メタデータ） (2020-01-10T20:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。