論文の概要: Training Image Derivatives: Increased Accuracy and Universal Robustness

• arxiv url: http://arxiv.org/abs/2310.14045v3
• Date: Sun, 02 Feb 2025 15:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 17:56:55.796197
• Title: Training Image Derivatives: Increased Accuracy and Universal Robustness
• Title（参考訳）: 訓練用画像導出物:精度の向上とユニバーサルロバストネス
• Authors: Vsevolod I. Avrutskiy,
• Abstract要約: 派生的トレーニングは、ある低次元タスクにおけるニューラルネットワークの精度を大幅に向上させる確立された方法である。 本稿では,この改良を,画像から立方体の頂点を再構成する図形的画像解析問題に拡張する。 立方体の6自由度に関する導関数をトレーニングすることにより、ノイズなし入力の精度を25倍に向上させる。
• 参考スコア（独自算出の注目度）: 3.9160947065896803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Derivative training is an established method that can significantly increase the accuracy of neural networks in certain low-dimensional tasks. In this paper, we extend this improvement to an illustrative image analysis problem: reconstructing the vertices of a cube from its image. By training the derivatives with respect to the cube's six degrees of freedom, we achieve a 25-fold increase in accuracy for noiseless inputs. Additionally, derivative knowledge offers a novel approach to enhancing network robustness, which has traditionally been understood in terms of two types of vulnerabilities: excessive sensitivity to minor perturbations and failure to detect significant image changes. Conventional robust training relies on output invariance, which inherently creates a trade-off between these two vulnerabilities. By leveraging derivative information we compute non-trivial output changes in response to arbitrary input perturbations. This resolves the trade-off, yielding a network that is twice as robust and five times more accurate than the best case under the invariance assumption. Unlike conventional robust training, this outcome can be further improved by simply increasing the network capacity. This approach is applicable to phase retrieval problems and other scenarios where a sufficiently smooth manifold parametrization can be obtained.
• Abstract（参考訳）: 派生的トレーニングは、ある低次元タスクにおけるニューラルネットワークの精度を大幅に向上させる確立された方法である。 本稿では,この改良を,画像から立方体の頂点を再構成する図形的画像解析問題に拡張する。 立方体の6自由度に関する導関数をトレーニングすることにより、ノイズなし入力の精度を25倍に向上させる。 さらに、デリバティブな知識は、ネットワークの堅牢性を高めるための新しいアプローチを提供する。これは伝統的に、小さな摂動に対する過度な感度と、重要な画像変化を検出するのに失敗という2つのタイプの脆弱性の観点から理解されてきた。 従来の堅牢なトレーニングは出力の不変性に依存しており、これら2つの脆弱性間のトレードオフが本質的に発生します。 微分情報を活用することで、任意の入力摂動に対応する非自明な出力変化を計算する。 これはトレードオフを解消し、不変仮定の下での最良の場合の2倍の堅牢で5倍の精度のネットワークが得られる。 従来の堅牢なトレーニングとは異なり、ネットワーク容量を単純に増やすことで、この結果をさらに改善することができる。 この手法は、十分に滑らかな多様体パラメトリゼーションが得られる相検索問題や他のシナリオに適用できる。

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Variation Due to Regularization Tractably Recovers Bayesian Deep Learning [44.16006844888796]
  本稿では,正規化による変動に基づく大規模ネットワークの不確実性定量化手法を提案する。 正規化変動(RegVar)は、無限小極限においてベイズ深層学習におけるラプラス近似を正確に回復する厳密な不確実性を推定する。 複数のデータセットにまたがる実験により、RegVarは不確実な予測を効果的に識別するだけでなく、学習した表現の安定性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Uncertainty Propagation through Trained Deep Neural Networks Using Factor Graphs [4.704825771757308]
  不確実性伝播は、入力不確かさをネットワーク予測に伝播させることにより、アレタリック不確かさを推定しようとする。 深層ニューラルネットワーク内の複雑な情報の流れに触発され,因子グラフを用いた非線形最適化問題として不確実性伝播を仮定して新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-12-10T17:26:27Z)
• Ambiguity in solving imaging inverse problems with deep learning based operators [0.0]
  大規模な畳み込みニューラルネットワークは、画像分解のためのツールとして広く利用されている。 画像の劣化は, 逆問題として数学的にモデル化され, ノイズがデータに与える影響を近似することは困難である。 本稿では,深層学習に基づく画像の復号化に多くの精度を損なうことなく,安定性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T12:07:08Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• THAT: Two Head Adversarial Training for Improving Robustness at Scale [126.06873298511425]
  本研究では,大規模多クラスイメージネットデータセットを扱うために設計された2ストリームの逆学習ネットワークであるhead adversarial trainingを提案する。 提案手法では,2つのヘッドと2つの損失関数を持つネットワークを訓練する。1つは自然画像と逆画像間の特徴空間領域シフトを最小化し,もう1つは高い分類精度を促進する。
  論文  参考訳（メタデータ） (2021-03-25T05:32:38Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Convex Regularization Behind Neural Reconstruction [21.369208659395042]
  本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。 MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
  論文  参考訳（メタデータ） (2020-12-09T16:57:16Z)
• NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation [18.653663583989122]
  NeuroDiffは、差分検証の精度を大幅に向上させる、象徴的できめ細かな近似技術である。 以上の結果から,NeuroDiffは最先端のツールよりも1000倍高速で5倍精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-09-21T15:00:25Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Learning to Learn Parameterized Classification Networks for Scalable Input Images [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。 我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。 さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
  論文  参考訳（メタデータ） (2020-07-13T04:27:25Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)
• Semantic Robustness of Models of Source Code [44.08472936613909]
  深層ニューラルネットワークは敵の例に弱い - 誤った予測をもたらす小さな入力摂動だ。 このような敵に頑健なモデルを学習するために、敵の訓練を行う方法を示す。
  論文  参考訳（メタデータ） (2020-02-07T23:26:17Z)
• ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
  我々は2つの密接に関連するネットワークの差分検証法を開発した。 我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。 実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-01-10T20:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。