論文の概要: Quantile-based Loss Filtering for Outlier-Robust Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2609.13040v1
• Date: Fri, 11 Sep 2026 16:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.810032
• Title: Quantile-based Loss Filtering for Outlier-Robust Stochastic Gradient Descent
• Title（参考訳）: 外乱確率勾配Descenceに対する量子ベースロスフィルタ
• Abstract要約: 破損した成分関数のサブセットを用いた損失ベース有限サム最適化について検討する。 最小損失に基づくSGD(min-$k-loss)と、劣化した線形システムに対する量子化に基づく手法を用いて、一般的な損失フィルタリングフレームワークを提案し、解析する。
• 参考スコア（独自算出の注目度）: 2.0970533716091606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study loss-based filtering for finite-sum optimization with a subset of corrupted component functions whose gradients may be highly unreliable. Motivated by minimum-loss-based SGD (min-$k$-loss) and quantile-based methods for corrupted linear systems, we propose and analyze a general loss-filtering framework -- Quantile-\(k\)-Loss SGD (Q\(k\)L-SGD) -- that samples \(k\) component losses at each iteration and updates using an index chosen uniformly from the lower empirical \(q\)-quantile. We prove linear convergence of this family of methods under standard convexity assumptions, requiring the sample size to scale with the number of corruptions and a subset strong-convexity threshold. For the cases when large enough sampling is impossible or undesirable, we give a complementary small-sample probabilistic analysis that covers any sample size $k$ and the convergence behavior depends on the probability of selecting an outlier and on the curvature of the selected good step. Experiments on polynomial regression, regularized logistic regression, and regularized hinge loss show that intermediate quantiles often outperform both standard SGD and min-\(k\)-loss SGD. In particular, min-\(k\) often stalls by repeatedly selecting nearly solved components, while intermediate quantiles retain robustness and produce more informative updates.
• Abstract（参考訳）: 本研究では, 勾配が信頼できないコンポーネント関数のサブセットを用いて, 有限サム最適化のための損失に基づくフィルタリングについて検討する。 最小損失に基づくSGD (min-$k$-loss) と量子化された線形系に対する量子化に基づく手法によって動機付けされ、各繰り返しにおけるサンプルの損失が \(k\)L-SGD (Q\(k\)-Loss SGD) となる一般的な損失フィルタリングフレームワーク -- Quantile-\(k\)-Loss SGD (Q\(k\)L-SGD) -- を提案し、分析する。 我々は、標準凸性仮定の下で、この手法の族を線形収束させることを証明し、サンプルサイズは、汚職の数と部分集合の強凸性しきい値でスケールする必要がある。 十分なサンプリングが不可能あるいは望ましくない場合には,任意のサンプルサイズを$k$でカバーする相補的な小サンプル確率解析を行い,コンバージェンス挙動は,アウトレーヤを選択する確率と選択した良いステップの曲率に依存する。 多項式回帰、正規化ロジスティック回帰、正規化ヒンジ損失の実験は、中間量子化が標準SGDとmin-\(k\)-ロスSGDの両方を上回っていることを示している。 特に、min-\(k\) は、ほぼ解決されたコンポーネントを何度も選択することで停止するが、中間量子は堅牢性を保持し、より情報的な更新をもたらす。

関連論文リスト

• $Ω$: Operator-based Mixture Ensemble for Generative Assimilation [7.915816961228985]
  $$は、条件付きガウス代用モデリング、教師なしスコアラーニング、生成サンプリングを統合するスケーラブルなフレームワークである。 $$は閉形式の条件付き後続分布を利用して、高次元の観測されていない成分を解析的に回収する。 $は、断続性と極端なイベントを持つ複数の乱流モデルで検証され、後続の精度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-06-18T20:19:44Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Stratified Sampling for Quasi-Probability Decompositions [0.0]
  準確率分解(QPD)は多くの量子アルゴリズムやプロトコルにおいて必須であることが証明されている。 我々は,この分散を考慮し,低減するための幅広い枠組みを構築している。 典型的なQPDの数値シミュレーションは、全体分散の定数要素の減少を示す。
  論文  参考訳（メタデータ） (2026-02-11T17:46:40Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Learning Quantile Functions without Quantile Crossing for Distribution-free Time Series Forecasting [12.269597033369557]
  本稿では,分散フリーな分布推定フレームワークであるIncrmental (Spline) Quantile Function I(S)QFを提案する。 また、シーケンス・ツー・シーケンス・セッティングに基づく提案手法の一般化誤差解析も提供する。
  論文  参考訳（メタデータ） (2021-11-12T06:54:48Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• Choosing the Sample with Lowest Loss makes SGD Robust [19.08973384659313]
  各ステップで単純な勾配降下法(SGD)を提案する。 しかし、バニラは最小の損失で非電流和を効果的に最小化する新しいアルゴリズムである。 ML問題に対するこの考え方の理論的分析は、小規模なニューラルネットワーク実験によって裏付けられている。
  論文  参考訳（メタデータ） (2020-01-10T05:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。