論文の概要: Certifying Out-of-Domain Generalization for Blackbox Functions
- arxiv url: http://arxiv.org/abs/2202.01679v1
- Date: Thu, 3 Feb 2022 16:47:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 14:18:14.065596
- Title: Certifying Out-of-Domain Generalization for Blackbox Functions
- Title（参考訳）: ブラックボックス関数のドメイン外一般化の証明
- Authors: Maurice Weber, Linyi Li, Boxin Wang, Zhikuan Zhao, Bo Li, Ce Zhang
- Abstract要約: 本稿では,2つの分布の平均距離と分散距離を限定した新しい認証フレームワークを提案する。
我々は、ImageNetを含む複数のデータセットに対して、認証手法を実験的に検証した。
- 参考スコア（独自算出の注目度）: 20.997611019445657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Certifying the robustness of model performance under bounded data
distribution shifts has recently attracted intensive interests under the
umbrella of distributional robustness. However, existing techniques either make
strong assumptions on the model class and loss functions that can be certified,
such as smoothness expressed via Lipschitz continuity of gradients, or require
to solve complex optimization problems. As a result, the wider application of
these techniques is currently limited by its scalability and flexibility --
these techniques often do not scale to large-scale datasets with modern deep
neural networks or cannot handle loss functions which may be non-smooth, such
as the 0-1 loss. In this paper, we focus on the problem of certifying
distributional robustness for black box models and bounded losses, without
other assumptions. We propose a novel certification framework given bounded
distance of mean and variance of two distributions. Our certification technique
scales to ImageNet-scale datasets, complex models, and a diverse range of loss
functions. We then focus on one specific application enabled by such
scalability and flexibility, i.e., certifying out-of-domain generalization for
large neural networks and loss functions such as accuracy and AUC. We
experimentally validate our certification method on a number of datasets,
ranging from ImageNet, where we provide the first non-vacuous certified
out-of-domain generalization, to smaller classification tasks where we are able
to compare with the state-of-the-art and show that our method performs
considerably better.
- Abstract（参考訳）: 有界データ分散シフトにおけるモデル性能のロバスト性の証明は,近年,分散ロバスト性の傘の下で大きな関心を集めている。
しかし、既存の手法はモデルクラスと、勾配のリプシッツ連続性を通して表現される滑らかさのような証明可能な損失関数を強く仮定するか、複雑な最適化問題を解く必要がある。
その結果、これらの技術のより広い適用は、スケーラビリティと柔軟性によって制限されている - これらのテクニックは、現代のディープニューラルネットワークで大規模データセットにスケールしたり、0-1損失のような非スムースな損失関数を処理できないことが多い。
本稿では,ブラックボックスモデルにおける分布ロバスト性および有界損失を他の仮定なしで証明する問題に焦点をあてる。
本稿では,2つの分布の平均距離と分散距離を限定した新しい認証フレームワークを提案する。
我々の認証技術は、ImageNetスケールのデータセット、複雑なモデル、多様な損失関数にスケールする。
次に,大規模ニューラルネットワークと精度やaucなどの損失関数に対する領域外一般化の証明など,スケーラビリティと柔軟性によって実現される特定のアプリケーションに焦点を当てる。
我々は,この認証手法をImageNetなどいくつかのデータセット上で実験的に検証し,最初の非空き証明済みの領域外一般化から,最先端技術との比較が可能なより小さな分類タスクまで提供し,その方法がかなり優れていることを示す。
関連論文リスト
- SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳（メタデータ） (2024-07-23T20:34:23Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Certifying Some Distributional Fairness with Subpopulation Decomposition [20.009388617013986]
まず、最適化問題として、与えられたデータ分布に基づいて訓練されたMLモデルの正当性を定式化する。
次に、一般的な公平性認定フレームワークを提案し、センシティブなシフトと一般的なシフトの両方のシナリオでインスタンス化する。
我々のフレームワークは、追加の非スキューネス制約を統合する柔軟性があり、異なる実世界のシナリオ下でさらに厳密な認証を提供することを示す。
論文 参考訳（メタデータ） (2022-05-31T01:17:50Z) - FjORD: Fair and Accurate Federated Learning under heterogeneous targets
with Ordered Dropout [16.250862114257277]
ニューラルネットワークにおける知識の順序付きネスト表現を実現するメカニズムであるOrdered Dropoutを紹介します。
我々は,この手法と自己蒸留手法を,FjORDと呼ばれるフレームワークでフェデレートラーニングの領域に導入する。
FjORDは、ネストされた構造を維持しながら、最先端のベースラインよりもパフォーマンスが大幅に向上する。
論文 参考訳（メタデータ） (2021-02-26T13:07:43Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳（メタデータ） (2020-12-24T19:34:56Z) - Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。
双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
論文 参考訳（メタデータ） (2020-10-21T13:22:25Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。