論文の概要: Multi-head Ensemble of Smoothed Classifiers for Certified Robustness

• arxiv url: http://arxiv.org/abs/2211.10882v2
• Date: Fri, 11 Apr 2025 12:47:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 02:14:07.991047
• Title: Multi-head Ensemble of Smoothed Classifiers for Certified Robustness
• Title（参考訳）: 認証ロバスト性のためのスムーズな分類器のマルチヘッドアンサンブル
• Authors: Kun Fang, Qinghua Tao, Yingwen Wu, Tao Li, Xiaolin Huang, Jie Yang,
• Abstract要約: ランダム化平滑化(Randomized Smoothing, RRS)は,ロバスト性認定のための有望な手法である。 最近のRSでは、複数のディープニューラルネットワーク(DNN)のアンサンブルが最先端のパフォーマンスを示している。 我々は,SmOthed Multi-head Ensemble (SOME)という名前の複数の頭部を持つ単一DNNのアンサンブルに基づく新しい訓練方法を考える。
• 参考スコア（独自算出の注目度）: 30.143629319940427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomized Smoothing (RS) is a promising technique for certified robustness, and recently in RS the ensemble of multiple Deep Neural Networks (DNNs) has shown state-of-the-art performances due to its variance reduction effect over Gaussian noises. However, such an ensemble brings heavy computation burdens in both training and certification, and yet under-exploits individual DNNs and their mutual effects, as the communication between these classifiers is commonly ignored in optimization. In this work, we consider a novel ensemble-based training way for a single DNN with multiple augmented heads, named as SmOothed Multi-head Ensemble (SOME). In SOME, similar to the pursuit of variance reduction via ensemble, an ensemble of multiple heads imposed with a cosine constraint inside a single DNN is employed with much cheaper training and certification computation overloads in RS. In such network structure, an associated training strategy is designed by introducing a circular communication flow among those augmented heads. That is, each head teaches its neighbor with the self-paced learning strategy using smoothed losses, which are specifically designed in relation to certified robustness. The deployed multi-head structure and the circular-teaching scheme in SOME jointly contribute to the diversities among multiple heads and benefit their ensemble, leading to a competitively stronger certifiably-robust RS-based defense than ensembling multiple DNNs (effectiveness) at the cost of much less computational expenses (efficiency), verified by extensive experiments and discussions.
• Abstract（参考訳）: ランダム化平滑化(Randomized Smoothing, RS)は、証明された堅牢性のための有望なテクニックであり、最近では、複数のディープニューラルネットワーク(DNN)のアンサンブルがガウス雑音に対する分散低減効果により、最先端のパフォーマンスを示している。 しかし、このようなアンサンブルは、訓練と認定の両方で計算の負担が大きくなり、個々のDNNとその相互効果は過小評価され、これらの分類器間の通信は最適化において一般的に無視される。 本研究では,SmOthed Multi-head Ensemble (SOME) という名前の複数の頭部を持つ単一のDNNに対して,新しいアンサンブルに基づくトレーニング手法を提案する。 SOMEでは、アンサンブルによる分散低減の追求と同様に、1つのDNN内でコサイン制約で課される複数のヘッドのアンサンブルが、RSにおけるより安価なトレーニングと認定計算オーバーロードに使用される。 このようなネットワーク構造では、これら強化ヘッド間の円形通信フローを導入して、関連するトレーニング戦略を設計する。 つまり、各ヘッドは、スムーズな損失を用いて、その隣人に自己評価学習戦略を教える。 デプロイされたマルチヘッド構造とSOMEの円形学習スキームは、複数のヘッド間の多様性に共同で寄与し、それらのアンサンブルを享受し、より少ない計算コスト(効率)で複数のDNNをアンサンブルするよりも、競争力に強いRSベースの防御に繋がる。

関連論文リスト

• Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching [0.9963916732353794]
  Divergent Ensemble Network (DEN)は、共有表現学習と独立分岐を組み合わせた新しいアーキテクチャである。 DENは共有入力層を使用して、すべてのブランチに共通する特徴をキャプチャし、続いて、アンサンブルを形成する独立したトレーニング可能な層を分離する。 この共有分岐構造は、アンサンブルの多様性を維持しながらパラメータの冗長性を低減し、効率的でスケーラブルな学習を可能にする。
  論文  参考訳（メタデータ） (2024-12-02T06:52:45Z)
• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network [39.54624592783459]
  従来のニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が登場した。 本稿ではスパイクベースの計算におけるモダリティギャップを埋める新しいフレームワークであるSpikeCLIPを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:57:17Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Deep Combinatorial Aggregation [58.78692706974121]
  ディープアンサンブル(Deep ensemble)は、不確実性を考慮した学習タスクの最先端結果を実現する、シンプルで効果的な方法である。 本研究では,ディープアグリゲーション(DCA)と呼ばれるディープアンサンブルの一般化について検討する。 DCAはネットワークコンポーネントの複数のインスタンスを生成し、それらの組み合わせを集約して、多様化したモデルの提案と予測を生成する。
  論文  参考訳（メタデータ） (2022-10-12T17:35:03Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Verification-Aided Deep Ensemble Selection [4.290931412096984]
  ディープニューラルネットワーク(DNN)は、様々な複雑なタスクを実現するための選択技術となっている。 正しく分類された入力に対する知覚できない摂動でさえ、DNNによる誤分類につながる可能性がある。 本稿では,同時エラーの少ないアンサンブル構成を同定するための方法論を考案する。
  論文  参考訳（メタデータ） (2022-02-08T14:36:29Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
  本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。 学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。 モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T12:44:28Z)
• A New Clustering-Based Technique for the Acceleration of Deep Convolutional Networks [2.7393821783237184]
  MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。 本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。 これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
  論文  参考訳（メタデータ） (2021-07-19T18:22:07Z)
• Semi-Supervised Learning with Multi-Head Co-Training [11.219776340005296]
  自己学習から拡張されたコトレーニングは、半教師付き学習のフレームワークの1つである。 本稿では, 単純で効率的なマルチヘッド・コレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-10T08:53:14Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。