論文の概要: Defensive Tensorization

• arxiv url: http://arxiv.org/abs/2110.13859v1
• Date: Tue, 26 Oct 2021 17:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 13:21:05.077351
• Title: Defensive Tensorization
• Title（参考訳）: 防御テンソル化
• Authors: Adrian Bulat and Jean Kossaifi and Sourav Bhattacharya and Yannis Panagakis and Timothy Hospedales and Georgios Tzimiropoulos and Nicholas D Lane and Maja Pantic
• Abstract要約: 本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
• 参考スコア（独自算出の注目度）: 113.96183766922393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose defensive tensorization, an adversarial defence technique that leverages a latent high-order factorization of the network. The layers of a network are first expressed as factorized tensor layers. Tensor dropout is then applied in the latent subspace, therefore resulting in dense reconstructed weights, without the sparsity or perturbations typically induced by the randomization.Our approach can be readily integrated with any arbitrary neural architecture and combined with techniques like adversarial training. We empirically demonstrate the effectiveness of our approach on standard image classification benchmarks. We validate the versatility of our approach across domains and low-precision architectures by considering an audio classification task and binary networks. In all cases, we demonstrate improved performance compared to prior works.
• Abstract（参考訳）: ネットワークの遅延高次分解を利用した対角防御技術である防御的テンソル化を提案する。 ネットワークの層はまず因子化されたテンソル層として表される。 テンソル・ドロップアウトは潜伏部分空間に適用されるため、通常ランダム化によって引き起こされるスパーシティや摂動を伴わずに、密に再構成された重量となり、我々のアプローチは任意のニューラルネットワークアーキテクチャと容易に統合でき、敵の訓練のような技術と組み合わせることができる。 標準画像分類ベンチマークにおける提案手法の有効性を実証的に実証する。 我々は,音声分類タスクとバイナリネットワークを考慮して,ドメイン間および低精度アーキテクチャ間のアプローチの汎用性を検証する。 いずれの場合も,従来の作業よりも性能が向上したことを示す。

関連論文リスト

• Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
  安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。 ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-07T17:50:15Z)
• Spectral regularization for adversarially-robust representation learning [32.84188052937496]
  下流の分類タスクにおけるブラックボックスの対角ロバスト性を促進する表現学習のための新しいスペクトル正規化器を提案する。 本手法は, ネットワークのすべての層を正規化する手法よりも, テスト精度とロバスト性の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:01:42Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)
• Improving Adversarial Robustness by Enforcing Local and Global Compactness [19.8818435601131]
  敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。 本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。 実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-10T00:43:06Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)
• Perturbing Across the Feature Hierarchy to Improve Standard and Strict Blackbox Attack Transferability [100.91186458516941]
  我々は、ディープニューラルネットワーク(DNN)画像分類器の領域におけるブラックボックス転送に基づく敵攻撃脅威モデルを検討する。 我々は,多層摂動が可能なフレキシブルアタックフレームワークを設計し,最先端のターゲット転送性能を示す。 提案手法が既存の攻撃戦略より優れている理由を解析し,ブラックボックスモデルに対する限られたクエリが許された場合に,メソッドの拡張を示す。
  論文  参考訳（メタデータ） (2020-04-29T16:00:13Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。