論文の概要: Inference with non-differentiable surrogate loss in a general high-dimensional classification framework

• arxiv url: http://arxiv.org/abs/2405.11723v1
• Date: Mon, 20 May 2024 01:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 14:33:17.418685
• Title: Inference with non-differentiable surrogate loss in a general high-dimensional classification framework
• Title（参考訳）: 一般高次元分類枠組みにおける非微分可能サロゲート損失の推論
• Authors: Muxuan Liang, Yang Ning, Maureen A Smith, Ying-Qi Zhao,
• Abstract要約: 仮説テストと区間推定を構築するために,カーネルスムーズな非相関スコアを提案する。 具体的には、不連続点近傍の不連続勾配を滑らかにするためにカーネル近似を採用する。 カーネルスムースなデコラートスコアとそのクロスフィットバージョンを高次元設定で限定分布として確立する。
• 参考スコア（独自算出の注目度）: 4.792322531593389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Penalized empirical risk minimization with a surrogate loss function is often used to derive a high-dimensional linear decision rule in classification problems. Although much of the literature focuses on the generalization error, there is a lack of valid inference procedures to identify the driving factors of the estimated decision rule, especially when the surrogate loss is non-differentiable. In this work, we propose a kernel-smoothed decorrelated score to construct hypothesis testing and interval estimations for the linear decision rule estimated using a piece-wise linear surrogate loss, which has a discontinuous gradient and non-regular Hessian. Specifically, we adopt kernel approximations to smooth the discontinuous gradient near discontinuity points and approximate the non-regular Hessian of the surrogate loss. In applications where additional nuisance parameters are involved, we propose a novel cross-fitted version to accommodate flexible nuisance estimates and kernel approximations. We establish the limiting distribution of the kernel-smoothed decorrelated score and its cross-fitted version in a high-dimensional setup. Simulation and real data analysis are conducted to demonstrate the validity and superiority of the proposed method.
• Abstract（参考訳）: 置換損失関数によるペナル化された経験的リスク最小化は、分類問題において高次元線形決定則を導出するためにしばしば用いられる。 文献の多くは一般化誤差に焦点を当てているが、特に代理損失が微分不可能な場合、推定決定規則の駆動要因を特定する有効な推論手順が欠如している。 本研究では,不連続な勾配と非正則なヘッセン性を有する一方向線形サロゲート損失を用いて推定した線形決定規則に対する仮説テストと区間推定を構築するために,カーネルスムースな非相関スコアを提案する。 具体的には、不連続点付近の不連続勾配を滑らかにするためにカーネル近似を採用し、サロゲート損失の非正則ヘシアンを近似する。 追加のニュアンスパラメータが関与するアプリケーションでは、フレキシブルなニュアンス推定とカーネル近似に対応するために、新しいクロスフィットバージョンを提案する。 カーネルスムースなデコラートスコアとそのクロスフィットバージョンを高次元設定で限定分布として確立する。 提案手法の有効性と優位性を示すため,シミュレーションおよび実データ解析を行った。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Assumption-Lean Post-Integrated Inference with Negative Control Outcomes [0.0]
  負の制御結果を用いて遅延不均一性を調整する頑健なポストインテグレート推論(PII)手法を提案する。 提案手法は,予測された直接効果推定値,隠された仲介者,共同設立者,モデレーターまで拡張する。 提案された二重頑健な推定器は、最小の仮定と潜在的な不特定性の下で一貫性があり、効率的である。
  論文  参考訳（メタデータ） (2024-10-07T12:52:38Z)
• Decision-Focused Learning with Directional Gradients [1.2363103948638432]
  そこで我々は,予測最適化フレームワークとして,摂動勾配損失(PG損失)と呼ばれる,決定を意識した新たなサロゲート損失のファミリーを提案する。 通常、断片的に一定かつ不連続な元の決定損失とは異なり、新しいPG損失はリプシッツ連続であり、凹函数の違いである。 我々は,PG損失が,基礎モデルが不明確である場合に,既存の提案よりも実質上優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T18:14:28Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Nonparametric Quantile Regression: Non-Crossing Constraints and Conformal Prediction [2.654399717608053]
  本稿では,線形単位ペナルティ関数を補正したディープニューラルネットワークを用いた非パラメトリック量子レグレッション法を提案し,量子交差を回避する。 提案した非パラメトリック量子化回帰関数推定器の過剰リスクに対する非漸近上界を確立する。 シミュレーション研究と実データ例を含む数値実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2022-10-18T20:59:48Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Distribution-Free Robust Linear Regression [5.532477732693]
  共変体の分布を仮定せずにランダムな設計線形回帰を研究する。 最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。 我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
  論文  参考訳（メタデータ） (2021-02-25T15:10:41Z)
• Stopping Criterion Design for Recursive Bayesian Classification: Analysis and Decision Geometry [11.399206131178104]
  本稿では, 後進状態に関する幾何学的解釈を提案する。 状態後部の最大値を超える信頼しきい値が硬さに悩まされていることを示す。 そこで我々は,その限界を克服するための幾何学的洞察を持つ新しい停止・終了基準を提案する。
  論文  参考訳（メタデータ） (2020-07-30T16:21:10Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。