論文の概要: Expressive Losses for Verified Robustness via Convex Combinations

• arxiv url: http://arxiv.org/abs/2305.13991v3
• Date: Mon, 18 Mar 2024 14:35:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:32:24.793871
• Title: Expressive Losses for Verified Robustness via Convex Combinations
• Title（参考訳）: 凸結合によるロバスト性検証のための表現的損失
• Authors: Alessandro De Palma, Rudy Bunel, Krishnamurthy Dvijotham, M. Pawan Kumar, Robert Stanforth, Alessio Lomuscio,
• Abstract要約: 本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
• 参考スコア（独自算出の注目度）: 67.54357965665676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to train networks for verified adversarial robustness, it is common to over-approximate the worst-case loss over perturbation regions, resulting in networks that attain verifiability at the expense of standard performance. As shown in recent work, better trade-offs between accuracy and robustness can be obtained by carefully coupling adversarial training with over-approximations. We hypothesize that the expressivity of a loss function, which we formalize as the ability to span a range of trade-offs between lower and upper bounds to the worst-case loss through a single parameter (the over-approximation coefficient), is key to attaining state-of-the-art performance. To support our hypothesis, we show that trivial expressive losses, obtained via convex combinations between adversarial attacks and IBP bounds, yield state-of-the-art results across a variety of settings in spite of their conceptual simplicity. We provide a detailed analysis of the relationship between the over-approximation coefficient and performance profiles across different expressive losses, showing that, while expressivity is essential, better approximations of the worst-case loss are not necessarily linked to superior robustness-accuracy trade-offs.
• Abstract（参考訳）: 検証された対向ロバスト性のためにネットワークをトレーニングするためには、摂動領域に対する最悪の損失を過度に近似することが一般的であり、その結果、標準的な性能を犠牲にして検証可能なネットワークが得られる。 最近の研究で示されているように、敵のトレーニングと過剰近似を慎重に結合することで、精度と堅牢性の間のトレードオフをより良く得ることができる。 損失関数の表現性は,下界と上界のトレードオフの範囲を1つのパラメータ(オーバー近似係数)を通して最悪の場合の損失に拡大する能力として形式化され,最先端の性能を達成するための鍵となる。 本仮説を裏付けるために,敵攻撃とIPP境界の凸結合により得られた自明な表現的損失は,その概念的単純さにもかかわらず,様々な状況において最先端の結果をもたらすことを示す。 本稿では, 過近似係数と異なる表現的損失に対する性能プロファイルの関係を詳細に解析し, 表現性は不可欠であるが, 最悪の場合の損失のより優れた近似は, 必ずしも優れた強靭性-精度トレードオフに関係しないことを示した。

関連論文リスト

• VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence [13.612214163974459]
  不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。 VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。 興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
  論文  参考訳（メタデータ） (2024-05-12T15:55:43Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• General Loss Functions Lead to (Approximate) Interpolation in High Dimensions [6.738946307589741]
  閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。 具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。 また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
  論文  参考訳（メタデータ） (2023-03-13T21:23:12Z)
• The NT-Xent loss upper bound [0.0]
  自己教師型学習は、深層表現学習において成長するパラダイムである。 SimCLRフレームワークは、コントラスト表現学習のためのNT-Xent損失を提案する。
  論文  参考訳（メタデータ） (2022-05-06T12:32:44Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Probabilistically Robust Learning: Balancing Average- and Worst-case Performance [105.87195436925722]
  我々は、正確で不安定な平均ケースと頑健で保守的な最悪のケースのギャップを埋める、堅牢性確率というフレームワークを提案する。 理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。
  論文  参考訳（メタデータ） (2022-02-02T17:01:38Z)
• Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
  シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。 本手法では,論理文の正確な意味を捉える意味的損失を用いる。 低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-20T00:16:29Z)
• Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
  影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。 本稿では,理論的観点から,そのような手法の性能について考察する。 交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:33:10Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。