論文の概要: Adaptive Sample-Level Framework Motivated by Distributionally Robust Optimization with Variance-Based Radius Assignment for Enhanced Neural Network Generalization Under Distribution Shift
- arxiv url: http://arxiv.org/abs/2511.05568v1
- Date: Tue, 04 Nov 2025 10:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.451955
- Title: Adaptive Sample-Level Framework Motivated by Distributionally Robust Optimization with Variance-Based Radius Assignment for Enhanced Neural Network Generalization Under Distribution Shift
- Title（参考訳）: 分散シフト下での高次ニューラルネットワーク一般化のための分散ロバスト最適化による適応型サンプルレベルフレームワーク
- Authors: Aheer Sravon, Devdyuti Mazumder, Md. Ibrahim,
- Abstract要約: 経験的リスク最小化(ERM)を用いて訓練された深層ニューラルネットワークの信頼性を損なう場合が多い。
本稿では、リスクの高いトレーニングサンプルを自動的に識別し、オンラインの損失分散に基づいて個人化されたロバスト性予算を割り当てる分散駆動型サンプルレベルDROフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.8101875496469488
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Distribution shifts and minority subpopulations frequently undermine the reliability of deep neural networks trained using Empirical Risk Minimization (ERM). Distributionally Robust Optimization (DRO) addresses this by optimizing for the worst-case risk within a neighborhood of the training distribution. However, conventional methods depend on a single, global robustness budget, which can lead to overly conservative models or a misallocation of robustness. We propose a variance-driven, adaptive, sample-level DRO (Var-DRO) framework that automatically identifies high-risk training samples and assigns a personalized robustness budget to each based on its online loss variance. Our formulation employs two-sided, KL-divergence-style bounds to constrain the ratio between adversarial and empirical weights for every sample. This results in a linear inner maximization problem over a convex polytope, which admits an efficient water-filling solution. To stabilize training, we introduce a warmup phase and a linear ramp schedule for the global cap on per-sample budgets, complemented by label smoothing for numerical robustness. Evaluated on CIFAR-10-C (corruptions), our method achieves the highest overall mean accuracy compared to ERM and KL-DRO. On Waterbirds, Var-DRO improves overall performance while matching or surpassing KL-DRO. On the original CIFAR-10 dataset, Var-DRO remains competitive, exhibiting the modest trade-off anticipated when prioritizing robustness. The proposed framework is unsupervised (requiring no group labels), straightforward to implement, theoretically sound, and computationally efficient.
- Abstract（参考訳）: 分布シフトとマイノリティサブポピュレーションは、経験的リスク最小化(ERM)を使用してトレーニングされたディープニューラルネットワークの信頼性を損なうことが多い。
分散ロバスト最適化(DRO)は、トレーニング分布の近傍で最悪のケースリスクを最適化することでこの問題に対処する。
しかし、従来の手法は単一のグローバルなロバストネス予算に依存しており、過度に保守的なモデルやロバストネスの誤った配置につながる可能性がある。
本稿では、リスクの高いトレーニングサンプルを自動的に識別し、オンラインの損失分散に基づいてパーソナライズされたロバストネス予算を割り当てる分散駆動型適応型サンプルレベルDRO(Var-DRO)フレームワークを提案する。
我々の定式化では、各試料の対向重みと経験重みの比を制限するために、両側のKL偏差型境界を用いる。
これにより、凸ポリトープ上の線形内最大化問題が発生し、効率の良い水充填溶液が認められる。
トレーニングを安定させるために, ラベルスムース化による数値ロバストネスを補完する, サンプル単位の予算に対して, グローバルキャップのウォームアップフェーズとリニアランプスケジュールを導入する。
CIFAR-10-C (corruptions) で評価し,ERMおよびKL-DROと比較して総合的な平均精度を最大に達成した。
Waterbirdsでは、Var-DROは、KL-DROをマッチングまたは超越しながら、全体的なパフォーマンスを改善している。
オリジナルのCIFAR-10データセットでは、Var-DROは競争力を維持しており、ロバスト性に優先順位をつける際に予想される、控えめなトレードオフを示している。
提案するフレームワークは、教師なし(グループラベルを必要としない)、実装が簡単で、理論的に健全で、計算的に効率的である。
関連論文リスト
- MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。
私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。
この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
論文 参考訳（メタデータ） (2025-07-14T18:34:10Z) - Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss [16.1456465253627]
本研究では、複数のソースドメインからラベル付きデータを入手でき、対象ドメインからラベルなしデータのみを観測できるマルチソース非教師付きドメイン適応について検討する。
本稿では,情報源領域からの条件付き結果分布の凸結合を最小化することにより,分類器を学習するグループ分散条件最適化フレームワークを提案する。
実験的なCG-DRO推定器の高速な統計的収束速度を,理論ブリッジとして機能する2つの代理極小最適化問題を構築することにより確立する。
論文 参考訳（メタデータ） (2025-07-14T04:21:23Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Distributionally Robust Multiclass Classification and Applications in
Deep Image Classifiers [9.979945269265627]
マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。
本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
論文 参考訳（メタデータ） (2022-10-15T05:09:28Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Federated Distributionally Robust Optimization for Phase Configuration
of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。
異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。
提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文 参考訳（メタデータ） (2021-08-20T07:07:45Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Robustified Multivariate Regression and Classification Using
Distributionally Robust Optimization under the Wasserstein Metric [11.383869751239166]
我々は多変量線形回帰(MLR)と多クラスロジスティック回帰(MLG)のための分布ロバスト最適化(DRO)の定式化を開発する。
我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。
実験の結果, MLRは37%, MLGは100%, 予測誤差は37%改善した。
論文 参考訳（メタデータ） (2020-06-10T22:16:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。