論文の概要: Dual Randomized Smoothing: Beyond Global Noise Variance

• arxiv url: http://arxiv.org/abs/2512.01782v1
• Date: Mon, 01 Dec 2025 15:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.920743
• Title: Dual Randomized Smoothing: Beyond Global Noise Variance
• Title（参考訳）: デュアルランダム化スムースメント:グローバルノイズ分散を超えて
• Authors: Chenhao Sun, Yuhao Mao, Martin Vechev,
• Abstract要約: ランダム化平滑化(Randomized Smoothing, RRS)は、ニューラルネットワークの対向摂動に対する堅牢性を証明する技術である。 RSでは、小さなラジイで高い精度を達成するには、小さなノイズばらつきを必要とするが、大きなラジイで高い精度を達成するには、大きなノイズばらつきを必要とする。 本稿では,入力依存型雑音分散を実現するための2つのRSフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.921570751023892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Randomized Smoothing (RS) is a prominent technique for certifying the robustness of neural networks against adversarial perturbations. With RS, achieving high accuracy at small radii requires a small noise variance, while achieving high accuracy at large radii requires a large noise variance. However, the global noise variance used in the standard RS formulation leads to a fundamental limitation: there exists no global noise variance that simultaneously achieves strong performance at both small and large radii. To break through the global variance limitation, we propose a dual RS framework which enables input-dependent noise variances. To achieve that, we first prove that RS remains valid with input-dependent noise variances, provided the variance is locally constant around each input. Building on this result, we introduce two components which form our dual RS framework: (i) a variance estimator first predicts an optimal noise variance for each input, (ii) this estimated variance is then used by a standard RS classifier. The variance estimator is independently smoothed via RS to ensure local constancy, enabling flexible design. We also introduce training strategies to iteratively optimize the two components. Extensive experiments on CIFAR-10 show that our dual RS method provides strong performance for both small and large radii-unattainable with global noise variance-while incurring only a 60% computational overhead at inference. Moreover, it consistently outperforms prior input-dependent noise approaches across most radii, with particularly large gains at radii 0.5, 0.75, and 1.0, achieving relative improvements of 19%, 24%, and 21%, respectively. On ImageNet, dual RS remains effective across all radii. Additionally, the dual RS framework naturally provides a routing perspective for certified robustness, improving the accuracy-robustness trade-off with off-the-shelf expert RS models.
• Abstract（参考訳）: ランダム化平滑化(Randomized Smoothing, RRS)は、ニューラルネットワークの対向摂動に対する堅牢性を証明するための顕著な手法である。 RSでは、小さなラジイで高い精度を達成するには、小さなノイズばらつきを必要とするが、大きなラジイで高い精度を達成するには、大きなノイズばらつきを必要とする。 しかし、標準RSの定式化で用いられる大域的なノイズ分散は基本的な制限となり、大域的なノイズ分散は存在しない。 本稿では,大域的分散の限界を突破するために,入力依存雑音分散を可能にするデュアルRSフレームワークを提案する。 これを実現するために、まず、各入力の周囲の分散が局所的に一定である場合、入力依存ノイズ分散に対してRSが有効であることを証明した。 この結果に基づいて、当社のデュアルRSフレームワークを構成する2つのコンポーネントを紹介します。 i)分散推定器は、まず、入力毎に最適なノイズ分散を予測する。 (ii) この推定分散は標準RS分類器で使用される。 分散推定器はRSを介して独立に滑らか化され、局所的な一貫性が確保され、フレキシブルな設計が可能となる。 2つのコンポーネントを反復的に最適化するためのトレーニング戦略も導入しています。 CIFAR-10の広汎な実験により、我々の二重RS法は、大域的なノイズ分散が持続不可能な小・大ラジイの両方に対して、推論時に60%の計算オーバーヘッドしか生じない強い性能を提供することを示した。 さらに、特に0.5、0.75、1.0で大きな利得を示し、それぞれ19%、24%、および21%の相対的な改善を達成している。 ImageNetでは、dual RSはすべてのradiiで有効である。 さらに、デュアルRSフレームワークは、証明された堅牢性のためのルーティングパースペクティブを自然に提供し、既製のエキスパートRSモデルとの精度・ロバスト性トレードオフを改善している。

関連論文リスト

• From Entity Reliability to Clean Feedback: An Entity-Aware Denoising Framework Beyond Interaction-Level Signals [20.323837731778358]
  暗黙のフィードバックはレコメンデーションシステムの中心であるが、本質的にノイズがあり、しばしばモデルのトレーニングやユーザエクスペリエンスの劣化を損なう。 textbfEARD(textbfEntity-textbfAware textbfReliability-textbfDriven Denoising)は,インタラクションレベルの信号からエンティティレベルの信頼性に移行する軽量フレームワークである。
  論文  参考訳（メタデータ） (2025-08-14T17:20:12Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Estimating the Robustness Radius for Randomized Smoothing with 100$\times$ Sample Efficiency [6.199300239433395]
  この研究は、サンプルの数を1桁から2桁に減らすことで、わずかに小さなロバストネス半径の計算が可能になることを証明している。 我々は、標準CIFAR-10およびImageNetデータセットで有望な結果を実験的に示しながら、この現象を説明する数学的基礎を提供する。
  論文  参考訳（メタデータ） (2024-04-26T12:43:19Z)
• Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
  雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。 本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-10T05:52:36Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy [9.50143683501477]
  Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。 Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。 本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
  論文  参考訳（メタデータ） (2021-03-07T19:46:07Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。