論文の概要: Distributionally robust linear regression through the lens of adversarial training

• arxiv url: http://arxiv.org/abs/2609.39449v1
• Date: Wed, 30 Sep 2026 10:21:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.579686
• Title: Distributionally robust linear regression through the lens of adversarial training
• Title（参考訳）: 逆行訓練レンズによる分布ロバストな線形回帰
• Abstract要約: 本稿では, ワッサーシュタインDRO線形回帰, 平方根ラッソの統一化, 逆線形回帰を重要な特殊事例として検討する。 提案手法は効率よく解けることを示すとともに,数値シミュレーションにより本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 4.696356818683831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributionally robust optimization (DRO) studies parameter estimation under uncertainty in the underlying probability distribution and has emerged as a principled framework for analyzing robustness and generalization. In particular, Wasserstein DRO, with distributional uncertainty induced by the Wasserstein distance, generalizes several popular regularizers. This paper studies Wasserstein DRO linear regression, unifying square-root Lasso and adversarial linear regression as important special cases. We prove that many properties of these two special cases carry over to this general method. In particular, we show (i) deterministic and non-asymptotic in-sample error bounds $O(n^{-1/2})$ in general and $O(n^{-1})$ under design matrix and sparsity conditions; (ii) insensitivity to the noise level, also known as the pivotal property; and (iii) solution equivalences for small and large ambiguity sets. The key proof step is to recast the method into a quadratic form, mimicking adversarial linear regression. We also show that the method can be solved efficiently, and we validate our findings through numerical simulations.
• Abstract（参考訳）: 分布的ロバスト最適化(DRO)は、基礎となる確率分布の不確実性の下でパラメータ推定を研究し、ロバスト性や一般化を解析するための原則的枠組みとして登場した。 特に、ワッサーシュタイン DRO は、ワッサーシュタイン距離によって誘導される分布の不確実性を持ち、いくつかの一般的な正則化器を一般化する。 本稿では, ワッサーシュタインDRO線形回帰, 平方根ラッソの統一化, 逆線形回帰を重要な特殊事例として検討する。 これら2つの特別な場合の多くの性質がこの一般的な方法に受け継がれることを証明している。 特に私たちが示すのは (i)決定論的かつ非漸近的なインサンプル誤差は一般に$O(n^{-1/2})$と$O(n^{-1})$である。 (ii)音レベルに対する感度、またはピボット特性(英: pivotal property) 三 小さくて大きなあいまいな集合に対する解同値。 鍵となる証明ステップは、逆線形回帰を模倣して、この方法を二次形式に再キャストすることである。 また,本手法は効率よく解けることを示し,数値シミュレーションにより本手法の有効性を検証した。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Representation-Aware Distributionally Robust Optimization: A Knowledge Transfer Framework [6.529107536201152]
  本稿では,分散シフトに対処する際の予測表現を考慮に入れた,分散的ロバスト学習のための新しいフレームワークを提案する。 我々は,READが輸送コストに多次元アライメントパラメータを埋め込むことで,情報表現に関連する方向に沿った摂動を差分的に回避できることを示した。 我々は、広範囲なシミュレーションと実世界の研究を通して、我々のフレームワークの有効性を実証することで結論付ける。
  論文  参考訳（メタデータ） (2025-09-11T11:42:17Z)
• Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
  非ガウス共変量の設定における線形回帰の計算について検討する。 本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-12-04T20:31:47Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning [2.4578723416255754]
  分散ロバスト最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなっている。 本稿では,DROに基づく線形回帰法を提案し,その中心的問題,すなわちロバストネス半径を最適に選択する方法を提案する。 本手法はクロスバリデーションと同じ効果を示すが,計算コストのごく一部で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:02:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
  ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
  論文  参考訳（メタデータ） (2020-09-09T16:02:57Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。