論文の概要: Architecture Selection via the Trade-off Between Accuracy and Robustness
- arxiv url: http://arxiv.org/abs/1906.01354v2
- Date: Fri, 23 May 2025 12:04:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 14:32:52.049323
- Title: Architecture Selection via the Trade-off Between Accuracy and Robustness
- Title（参考訳）: 正確性とロバスト性の間のトレードオフによるアーキテクチャ選択
- Authors: Zhun Deng, Cynthia Dwork, Jialiang Wang, Yao Zhao,
- Abstract要約: 与えられたアーキテクチャの精度とロバスト性の間のトレードオフを特徴付ける手法と量を定義する。
具体的には、単純なトレードオフ曲線を導入し、与えられた損失関数の最適値の敵攻撃下での感度を捕捉する影響関数を定義し、研究する。
実験では、ニューラルネットワークの対応するトレードオフ曲線と、層数、ニューロン数、ネットワーク構造の違いなど、それらがどのように異なるかを示す。
- 参考スコア（独自算出の注目度）: 48.39317297503043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide a general framework for characterizing the trade-off between accuracy and robustness in supervised learning. We propose a method and define quantities to characterize the trade-off between accuracy and robustness for a given architecture, and provide theoretical insight into the trade-off. Specifically we introduce a simple trade-off curve, define and study an influence function that captures the sensitivity, under adversarial attack, of the optima of a given loss function. We further show how adversarial training regularizes the parameters in an over-parameterized linear model, recovering the LASSO and ridge regression as special cases, which also allows us to theoretically analyze the behavior of the trade-off curve. In experiments, we demonstrate the corresponding trade-off curves of neural networks and how they vary with respect to factors such as number of layers, neurons, and across different network structures. Such information provides a useful guideline to architecture selection.
- Abstract（参考訳）: 教師あり学習における正確性と堅牢性の間のトレードオフを特徴付けるための一般的な枠組みを提供する。
本稿では,与えられたアーキテクチャの精度とロバスト性の間のトレードオフを特徴付ける手法と量を定義し,トレードオフに関する理論的知見を提供する。
具体的には、単純なトレードオフ曲線を導入し、与えられた損失関数の最適値の敵攻撃下での感度を捕捉する影響関数を定義し、研究する。
さらに, パラメータを過パラメータ化線形モデルで正則化し, LASSOとリッジ回帰を特殊ケースとして再現することにより, トレードオフ曲線の挙動を理論的に解析することができることを示す。
実験では、ニューラルネットワークの対応するトレードオフ曲線と、層数、ニューロン数、ネットワーク構造の違いなど、それらがどのように異なるかを示す。
このような情報は、アーキテクチャ選択に有用なガイドラインを提供する。
関連論文リスト
- Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。
提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。
TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
論文 参考訳（メタデータ） (2024-10-07T20:44:53Z) - Large Margin Discriminative Loss for Classification [3.3975558777609915]
本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。
この損失は、クラス内のコンパクト性とクラス間の分離性によって表現されるニューラルネットワークの識別力を高める。
トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新という戦略を設計する。
論文 参考訳（メタデータ） (2024-05-28T18:10:45Z) - Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。
これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。
本稿では,新しい特徴一般化の観点からROを考察する。
論文 参考訳（メタデータ） (2023-10-01T07:57:03Z) - Mutual Information Estimation via $f$-Divergence and Data Derangements [6.43826005042477]
本稿では,$f$-divergenceの変動表現に基づく,新たな識別情報推定手法を提案する。
提案した推定器は、優れたバイアス/分散トレードオフを示すため、柔軟である。
論文 参考訳（メタデータ） (2023-05-31T16:54:25Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。