論文の概要: Complexity Matters: Effective Dimensionality as a Measure for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2410.18556v1
• Date: Thu, 24 Oct 2024 09:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:34.211630
• Title: Complexity Matters: Effective Dimensionality as a Measure for Adversarial Robustness
• Title（参考訳）: 複雑度 : 対向ロバスト性尺度としての有効次元性
• Authors: David Khachaturov, Robert Mullins,
• Abstract要約: 本研究では,モデルの有効次元性とロバスト性との関係について検討する。 YOLO や ResNet などの実環境でよく使用される商用規模のモデルで実験を行う。 実効次元と対向ロバスト性の間のほぼ直線的逆関係を明らかにし、低次元ロバスト性モデルがより良いロバスト性を示すことを示した。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License:
• Abstract: Quantifying robustness in a single measure for the purposes of model selection, development of adversarial training methods, and anticipating trends has so far been elusive. The simplest metric to consider is the number of trainable parameters in a model but this has previously been shown to be insufficient at explaining robustness properties. A variety of other metrics, such as ones based on boundary thickness and gradient flatness have been proposed but have been shown to be inadequate proxies for robustness. In this work, we investigate the relationship between a model's effective dimensionality, which can be thought of as model complexity, and its robustness properties. We run experiments on commercial-scale models that are often used in real-world environments such as YOLO and ResNet. We reveal a near-linear inverse relationship between effective dimensionality and adversarial robustness, that is models with a lower dimensionality exhibit better robustness. We investigate the effect of a variety of adversarial training methods on effective dimensionality and find the same inverse linear relationship present, suggesting that effective dimensionality can serve as a useful criterion for model selection and robustness evaluation, providing a more nuanced and effective metric than parameter count or previously-tested measures.
• Abstract（参考訳）: モデル選択, 敵の訓練方法の開発, 予測傾向の予測のために, 単一尺度におけるロバスト性の定量化はこれまでにも行われてきた。 最も単純な計量はモデルのトレーニング可能なパラメータの数であるが、これまではロバスト性を説明するのに不十分であることが示されている。 境界の厚さや勾配の平坦度に基づくような様々な指標が提案されているが、ロバスト性に対する不適切なプロキシであることが示されている。 本研究では,モデルが持つ有効次元性とモデル複雑性,その堅牢性との関係について検討する。 YOLO や ResNet などの実環境でよく使用される商用規模のモデルで実験を行う。 実効次元と対向ロバスト性の間のほぼ直線的逆関係を明らかにし、低次元ロバスト性モデルがより良いロバスト性を示すことを示した。 そこで本研究では, モデル選択やロバスト性評価に有効な基準として有効であり, パラメータ数や以前に検証された測度よりも, より厳密で効果的な測度を提供することができることを示唆する。

関連論文リスト

• Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume [18.4516572499628]
  本稿では,様々な摂動強度に対して総合的に深層学習モデルの頑健性を評価するための,対向超体積と呼ばれる新しい計量法を提案する。 我々は,様々な摂動強度の対向的堅牢性を均一に向上する新しいトレーニングアルゴリズムを採用する。 本研究はロバスト性の新しい尺度に寄与し、敵の脅威に対するベンチマーク評価と、現在および将来の防御モデルのレジリエンスの基準を確立する。
  論文  参考訳（メタデータ） (2024-03-08T07:03:18Z)
• Linked shrinkage to improve estimation of interaction effects in regression models [0.0]
  回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。 我々は,選択戦略では難しい推論モデルの可能性を評価する。 私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
  論文  参考訳（メタデータ） (2023-09-25T10:03:39Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Linear multidimensional regression with interactive fixed-effects [0.0]
  本稿では,3次元以上の多次元パネルデータに対する線形かつ付加的に分離可能なモデルについて検討する。 2つのアプローチは、係数を推定する際、これらの未観測のインタラクティブな固定効果を考慮に入れていると考えられる。 ビールの需要弾力性を推定する手法が提案されている。
  論文  参考訳（メタデータ） (2022-09-23T16:11:09Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Adversarial robustness for latent models: Revisiting the robust-standard accuracies tradeoff [12.386462516398472]
  標準的なテストの精度を落とすために、しばしば逆行訓練が観察される。 本稿では、このトレードオフは、データが低次元構造を楽しむ場合に緩和されると論じる。 周囲次元に対する多様体次元が減少するにつれて、標準精度とロバスト精度の両方に関してほぼ最適に近いモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-10-22T17:58:27Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。