論文の概要: Permutation Invariance of Deep Neural Networks with ReLUs

• arxiv url: http://arxiv.org/abs/2110.09578v1
• Date: Mon, 18 Oct 2021 19:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 14:33:50.295932
• Title: Permutation Invariance of Deep Neural Networks with ReLUs
• Title（参考訳）: ReLUを用いた深部ニューラルネットワークの置換不変性
• Authors: Diganta Mukhopadhyay (1), Kumar Madhukar (2), Mandayam Srivas (3) (Chennai Mathematical Institute (1), TCS Research (2))
• Abstract要約: 本稿では,ReLUを活性化関数とする深部ニューラルネットワークにおける置換不変性を確立する手法を提案する。 提案手法の斬新さは,前方伝播に有用なタイクラス解析と,スケーラブルな2-ポリトープアンダー近似法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Consider a deep neural network (DNN) that is being used to suggest the direction in which an aircraft must turn to avoid a possible collision with an intruder aircraft. Informally, such a network is well-behaved if it asks the own ship to turn right (left) when an intruder approaches from the left (right). Consider another network that takes four inputs -- the cards dealt to the players in a game of contract bridge -- and decides which team can bid game. Loosely speaking, if you exchange the hands of partners (north and south, or east and west), the decision would not change. However, it will change if, say, you exchange north's hand with east. This permutation invariance property, for certain permutations at input and output layers, is central to the correctness and robustness of these networks. This paper proposes a sound, abstraction-based technique to establish permutation invariance in DNNs with ReLU as the activation function. The technique computes an over-approximation of the reachable states, and an under-approximation of the safe states, and propagates this information across the layers, both forward and backward. The novelty of our approach lies in a useful tie-class analysis, that we introduce for forward propagation, and a scalable 2-polytope under-approximation method that escapes the exponential blow-up in the number of regions during backward propagation. An experimental comparison shows the efficiency of our algorithm over that of verifying permutation invariance as a two-safety property (using FFNN verification over two copies of the network).
• Abstract（参考訳）: 侵入者との衝突を避けるために航空機が旋回しなければならない方向を示唆するために使用されるディープニューラルネットワーク(dnn)を考える。 非公式には、侵入者が左(右)から近づくと、自船に右(左)に曲がるように頼むと、そのようなネットワークはうまく機能する。 契約ブリッジのゲームでプレイヤーに割り当てられたカードの4つの入力を受け取り、どのチームがゲームに入札できるかを決定する別のネットワークを考えてみよう。 粗雑な言い方をすれば、パートナー(北と南、東と西)の手を交換しても、決定は変わらない。 しかし、例えば、北の手を東と交換すれば、それは変わるだろう。 この置換不変性は、入力層と出力層の特定の置換に対して、これらのネットワークの正しさと頑健性の中心である。 本稿では、ReLUをアクティベーション関数とするDNNにおける変分不変性を確立するための、音響的抽象化に基づく手法を提案する。 この手法は到達可能な状態の過剰な近似と安全な状態の最小化を計算し、この情報を前方と後方の両方の層に伝播する。 提案手法の目新しさは,前方伝播に有用なタイクラス解析と,後方伝播時の領域数の指数関数的ブローアップを回避したスケーラブルな2-ポリトープ近似法である。 実験により,ネットワークの2つのコピー上でのFFNN検証を用いて,置換不変性を2つのセーフティ特性として検証するアルゴリズムの効率性を示す。

関連論文リスト

• Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
  テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。 次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。 評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-08-26T02:33:47Z)
• Secure Deep Learning-based Distributed Intelligence on Pocket-sized Drones [75.80952211739185]
  パームサイズのナノドロンはエッジノードの魅力的なクラスであるが、その限られた計算資源は大規模なディープラーニングモデルの実行を妨げている。 エッジフォッグ計算のパラダイムを採用することで、計算の一部をフォグにオフロードすることができるが、フォグノードや通信リンクが信頼できない場合、セキュリティ上の懸念が生じる。 ナノドローン上でランダムなサブネットワークを冗長に実行することにより,霧の計算を検証する分散エッジフォッグ実行方式を提案する。
  論文  参考訳（メタデータ） (2023-07-04T08:29:41Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
  本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。 我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。 我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
  論文  参考訳（メタデータ） (2021-10-06T13:05:45Z)
• The art of defense: letting networks fool the attacker [7.228685736051466]
  ディープニューラルネットワークは、入力点クラウドに不変なpointnetis permutation invariantのような、いくつかの入力変換に不変である。 本稿では,この特性が勾配に基づく攻撃の防御に有効であることを実証する。
  論文  参考訳（メタデータ） (2021-04-07T07:28:46Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• AdjointBackMap: Reconstructing Effective Decision Hypersurfaces from CNN Layers Using Adjoint Operators [10.8349819399336]
  畳み込みニューラルネットワーク(CNN)の内部動作を説明する手法を提案する。 CNNユニットの判定面が入力にほとんど条件付けられていることが分かり、このことが、CNNを効果的に騙すことができる理由を説明できる。
  論文  参考訳（メタデータ） (2020-12-16T15:35:47Z)
• Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
  本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。 VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。 その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-25T20:12:59Z)
• Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond [97.25179345878443]
  本稿では,新しい軽量モジュールであるAttentive WaveBlock (AWB)を提案する。 AWBは相互学習の二重ネットワークに統合され、相互学習の相補性を高め、擬似ラベルのノイズをさらに抑えることができる。 実験により, 提案手法は, 複数のUDA人物再識別タスクを大幅に改善し, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T15:40:40Z)
• A game-theoretic approach for Generative Adversarial Networks [2.995087247817663]
  GAN(Generative Adversarial Network)は、生成モデルの一種で、正確なサンプルを作成することで知られている。 彼らの実装の主なボトルネックは、ニューラルネットワークのトレーニングが非常に難しいことだ。 本稿では,GANに対する緩和されたフォワードバックワードアルゴリズムを提案する。 ゲームの擬階写像が単調であるとき、正確な解やその近傍に収束することが証明される。
  論文  参考訳（メタデータ） (2020-03-30T17:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。