論文の概要: Local Competition and Stochasticity for Adversarial Robustness in Deep Learning

• arxiv url: http://arxiv.org/abs/2101.01121v2
• Date: Mon, 29 Mar 2021 12:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 03:21:03.514503
• Title: Local Competition and Stochasticity for Adversarial Robustness in Deep Learning
• Title（参考訳）: 深層学習における対人ロバストネスの局所的競合と確率性
• Authors: Konstantinos P. Panousis and Sotirios Chatzis and Antonios Alexos and Sergios Theodoridis
• Abstract要約: 本研究は, 深層学習における対角的堅牢性に対処し, 深層ネットワークと局部的勝者のアクティベーションを考慮した。 このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけがゼロでない出力を生成するブロックに編成される。
• 参考スコア（独自算出の注目度）: 8.023314613846418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work addresses adversarial robustness in deep learning by considering deep networks with stochastic local winner-takes-all (LWTA) activations. This type of network units result in sparse representations from each model layer, as the units are organized in blocks where only one unit generates a non-zero output. The main operating principle of the introduced units lies on stochastic arguments, as the network performs posterior sampling over competing units to select the winner. We combine these LWTA arguments with tools from the field of Bayesian non-parametrics, specifically the stick-breaking construction of the Indian Buffet Process, to allow for inferring the sub-part of each layer that is essential for modeling the data at hand. Then, inference is performed by means of stochastic variational Bayes. We perform a thorough experimental evaluation of our model using benchmark datasets. As we show, our method achieves high robustness to adversarial perturbations, with state-of-the-art performance in powerful adversarial attack schemes.
• Abstract（参考訳）: 本研究は, 確率的局所入賞者オール(LWTA)アクティベートを伴うディープネットワークを考慮し, 深層学習における対角的ロバスト性に対処する。 このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけがゼロでない出力を生成するブロックに編成される。 導入されたユニットの主な運用原理は確率的な議論であり、ネットワークは勝者を選ぶために競合ユニットに対して後方サンプリングを行う。 これらのLWTA引数をベイズ非パラメトリック、特にインド・バフェット・プロセスの突破構成のツールと組み合わせることで、手元にあるデータモデリングに不可欠な各レイヤのサブ部分の推測を可能にします。 そして、確率的変動ベイズを用いて推論を行う。 ベンチマークデータセットを用いて,本モデルの徹底的な実験評価を行う。 提案手法は, 対向的摂動に対して高い堅牢性を実現し, 対向的攻撃方式の最先端性能を実現する。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning [4.97235247328373]
  本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。 このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。 提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
  論文  参考訳（メタデータ） (2022-08-02T16:19:54Z)
• Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
  粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。 特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
  論文  参考訳（メタデータ） (2022-06-02T09:16:26Z)
• Competing Mutual Information Constraints with Stochastic Competition-based Activations for Learning Diversified Representations [5.981521556433909]
  本研究は,多角化表現の学習における長年の課題に対処することを目的としている。 情報理論の議論と競争に基づくアクティベーションを組み合わせる。 実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
  論文  参考訳（メタデータ） (2022-01-10T20:12:13Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Ex uno plures: Splitting One Model into an Ensemble of Subnetworks [18.814965334083425]
  そこで本研究では,プレニング戦略によって計算され,独立に訓練された非重なり合っていないドロップアウトマスクに対応する,作業のアンサンブルを計算する戦略を提案する。 提案手法は,精度と不確実性の両方において,標準的なディープアンサンブルと同等に動作可能であることを示す。 我々は、ニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも、サブネットワークのアンサンブルが一貫して優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-09T01:49:49Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。