論文の概要: Regularization Penalty Optimization for Addressing Data Quality Variance
in OoD Algorithms
- arxiv url: http://arxiv.org/abs/2206.05749v1
- Date: Sun, 12 Jun 2022 14:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 16:31:45.749730
- Title: Regularization Penalty Optimization for Addressing Data Quality Variance
in OoD Algorithms
- Title（参考訳）: OoDアルゴリズムにおけるデータ品質変動に対する正規化ペナルティ最適化
- Authors: Runpeng Yu, Hong Zhu, Kaican Li, Lanqing Hong, Rui Zhang, Nanyang Ye,
Shao-Lun Huang, Xiuqiang He
- Abstract要約: 理論的には、トレーニングデータ品質とアルゴリズム性能の関係を明らかにする。
サンプルレベルとドメインレベルの両方において、低品質データの影響を軽減するために、新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 45.02465532852302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the poor generalization performance of traditional empirical risk
minimization (ERM) in the case of distributional shift, Out-of-Distribution
(OoD) generalization algorithms receive increasing attention. However, OoD
generalization algorithms overlook the great variance in the quality of
training data, which significantly compromises the accuracy of these methods.
In this paper, we theoretically reveal the relationship between training data
quality and algorithm performance and analyze the optimal regularization scheme
for Lipschitz regularized invariant risk minimization. A novel algorithm is
proposed based on the theoretical results to alleviate the influence of
low-quality data at both the sample level and the domain level. The experiments
on both the regression and classification benchmarks validate the effectiveness
of our method with statistical significance.
- Abstract（参考訳）: 分散シフト時の従来の経験的リスク最小化(ERM)の一般化性能が低かったため,OoD(Out-of-Distribution)一般化アルゴリズムに注目が集まるようになった。
しかし、ood一般化アルゴリズムはトレーニングデータの品質に大きなばらつきを見落としており、これらの方法の精度を著しく損なう。
本稿では,トレーニングデータ品質とアルゴリズム性能の関係を理論的に明らかにし,リプシッツ正則化不変リスク最小化の最適正則化スキームを解析した。
サンプルレベルとドメインレベルの両方における低品質データの影響を緩和する理論的な結果に基づいて,新しいアルゴリズムを提案する。
回帰と分類のベンチマーク実験は,統計的に有意な手法の有効性を検証した。
関連論文リスト
- Stability and Generalization for Distributed SGDA [70.97400503482353]
分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。
我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。
理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
論文 参考訳（メタデータ） (2024-11-14T11:16:32Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates [28.700663352789395]
分散変分不等式問題(VIP)に対する通信効率の良い局所訓練手法の統一収束解析を提供する。
提案手法は,いくつかの新しい局所学習アルゴリズムの提案と解析を可能にする推定値に関する一般的な鍵となる仮定に基づいている。
異種データにおける分散変分不等式を解くために,通信複雑性の向上を図った最初の局所降下偏差アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T10:58:46Z) - Best Subset Selection in Reduced Rank Regression [1.4699455652461724]
提案アルゴリズムは,有意な確率でランク推定を行うことができることを示す。
がん研究における数値的研究と応用は、有効性と拡張性を示している。
論文 参考訳（メタデータ） (2022-11-29T02:51:15Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Distribution Learning Based on Evolutionary Algorithm Assisted Deep
Neural Networks for Imbalanced Image Classification [4.037464966510278]
提案手法は,iMproved Estimation Distribution Algorithm based Latent achievementUre Distribution Evolution (MEDA_LUDE)アルゴリズムである。
ベンチマークに基づく不均衡データセットの実験により,提案アルゴリズムの有効性が検証された。
MEDA_LUDEアルゴリズムは産業分野にも適用され, ファブリック欠陥分類における不均衡問題を緩和する。
論文 参考訳（メタデータ） (2022-07-26T08:51:47Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Learning Prediction Intervals for Regression: Generalization and
Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。
我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。
我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文 参考訳（メタデータ） (2021-02-26T17:55:30Z) - Towards Optimal Problem Dependent Generalization Error Bounds in
Statistical Learning Theory [11.840747467007963]
我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。
一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。
我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
論文 参考訳（メタデータ） (2020-11-12T04:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。