論文の概要: Distribution-restrained Softmax Loss for the Model Robustness

• arxiv url: http://arxiv.org/abs/2303.12363v1
• Date: Wed, 22 Mar 2023 07:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 14:50:52.336807
• Title: Distribution-restrained Softmax Loss for the Model Robustness
• Title（参考訳）: モデルロバストネスに対する分布制限型ソフトマックス損失
• Authors: Hao Wang, Chen Li, Jinzhe Jiang, Xin Zhang, Yaqian Zhao and Weifeng Gong
• Abstract要約: モデルの堅牢性に影響を与える重要な要因を同定する。 本稿では,ソフトマックスの分布多様性を抑制するための損失関数を提案する。 多くの実験結果から,本手法は時間消費を伴わずにロバスト性を向上させることができることが示された。
• 参考スコア（独自算出の注目度）: 11.166004203932351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the robustness of deep learning models has received widespread attention, and various methods for improving model robustness have been proposed, including adversarial training, model architecture modification, design of loss functions, certified defenses, and so on. However, the principle of the robustness to attacks is still not fully understood, also the related research is still not sufficient. Here, we have identified a significant factor that affects the robustness of models: the distribution characteristics of softmax values for non-real label samples. We found that the results after an attack are highly correlated with the distribution characteristics, and thus we proposed a loss function to suppress the distribution diversity of softmax. A large number of experiments have shown that our method can improve robustness without significant time consumption.
• Abstract（参考訳）: 近年, 深層学習モデルの堅牢性は注目され, 対戦訓練, モデルアーキテクチャの変更, 損失関数の設計, 認証防御など, モデルの堅牢性向上のための様々な手法が提案されている。 しかし、攻撃に対する堅牢性の原理はまだ完全には理解されておらず、関連する研究も不十分である。 そこで本研究では,非実ラベルサンプルのソフトマックス値の分布特性について,モデルのロバスト性に影響を与える重要な因子を同定した。 攻撃後の結果は分布特性と高い相関関係にあり,ソフトマックス分布の多様性を抑制するための損失関数を提案した。 多くの実験により,本手法は時間を要することなくロバスト性を向上させることが示されている。

関連論文リスト

• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• RobustMQ: Benchmarking Robustness of Quantized Models [54.15661421492865]
  量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 我々は、ImageNet上の様々なノイズ(障害攻撃、自然破壊、系統的なノイズ)に対する量子化モデルのロバスト性について、徹底的に評価した。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
  論文  参考訳（メタデータ） (2023-08-04T14:37:12Z)
• On the Robustness of Removal-Based Feature Attributions [17.679374058425346]
  我々は、除去に基づく特徴属性のロバスト性の特性を理論的に特徴づける。 具体的には、このような手法を統一的に分析し、無害な帰属と摂動した帰属の差について上界を導出する。 合成および実世界のデータによる結果から理論的結果が検証され,その実用的意義が実証された。
  論文  参考訳（メタデータ） (2023-06-12T23:33:13Z)
• Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts [8.431465371266391]
  密度-ソフトマックスは、不確実性推定のためのサンプリング不要な決定論的なフレームワークである。 我々は,このモデルがミニマックス不確実性リスクの解であることを示した。 本手法は,不確実性と堅牢性の観点から,最先端技術と競合する結果を享受する。
  論文  参考訳（メタデータ） (2023-02-13T16:21:03Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• High-Robustness, Low-Transferability Fingerprinting of Neural Networks [78.2527498858308]
  本稿では,ディープニューラルネットワークを効果的にフィンガープリントするための特性例を提案する。 モデルプルーニングに対するベースモデルへの高いロバスト性、無関係モデルへの低透過性などが特徴である。
  論文  参考訳（メタデータ） (2021-05-14T21:48:23Z)
• Voting based ensemble improves robustness of defensive models [82.70303474487105]
  我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
  論文  参考訳（メタデータ） (2020-11-28T00:08:45Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Revisiting Ensembles in an Adversarial Context: Improving Natural Accuracy [5.482532589225552]
  頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。 この性能差を軽減するために,多数のアンサンブル法について検討する。 ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
  論文  参考訳（メタデータ） (2020-02-26T15:45:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。