論文の概要: Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models

• arxiv url: http://arxiv.org/abs/2204.08574v1
• Date: Mon, 18 Apr 2022 22:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 13:37:50.005793
• Title: Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models
• Title（参考訳）: 一般化線形モデルにおける正規化推定と推論のための適応雑音データ拡張
• Authors: Yinan Li and Fang Liu
• Abstract要約: 一般化線形モデル(GLM)の推定と推定を規則化するAdaPtive Noise Augmentation (PANDA) 手法を提案する。 シミュレーションおよび実生活データにおいて,同一タイプの正則化器の既存手法に対して,PANDAが優れているか類似した性能を示す。
• 参考スコア（独自算出の注目度）: 15.817569026827451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the AdaPtive Noise Augmentation (PANDA) procedure to regularize the estimation and inference of generalized linear models (GLMs). PANDA iteratively optimizes the objective function given noise augmented data until convergence to obtain the regularized model estimates. The augmented noises are designed to achieve various regularization effects, including $l_0$, bridge (lasso and ridge included), elastic net, adaptive lasso, and SCAD, as well as group lasso and fused ridge. We examine the tail bound of the noise-augmented loss function and establish the almost sure convergence of the noise-augmented loss function and its minimizer to the expected penalized loss function and its minimizer, respectively. We derive the asymptotic distributions for the regularized parameters, based on which, inferences can be obtained simultaneously with variable selection. PANDA exhibits ensemble learning behaviors that help further decrease the generalization error. Computationally, PANDA is easy to code, leveraging existing software for implementing GLMs, without resorting to complicated optimization techniques. We demonstrate the superior or similar performance of PANDA against the existing approaches of the same type of regularizers in simulated and real-life data. We show that the inferences through PANDA achieve nominal or near-nominal coverage and are far more efficient compared to a popular existing post-selection procedure.
• Abstract（参考訳）: 本稿では,一般化線形モデル (GLM) の推定と推定を規則化するAdaPtive Noise Augmentation (PANDA) 手法を提案する。 PANDAは、正規化モデル推定値を得るために収束するまで、雑音付加データに対して目的関数を反復的に最適化する。 拡張ノイズは、$l_0$、ブリッジ(ラッソとリッジを含む)、弾性ネット、適応ラッソ、SCAD、グループラッソと融合リッジなどの様々な正規化効果を達成するように設計されている。 損失関数のテールバウンドについて検討し, 損失関数と最小値のほぼ確実に収束することと, ペナルティ化損失関数と最小値に対する最小値を確立する。 正規化パラメータに対する漸近分布を導出し,変数選択と同時に推論を求めることができる。 PANDAは、一般化エラーをさらに減らすためのアンサンブル学習行動を示す。 計算上、PANDAはコーディングが容易で、複雑な最適化技術に頼ることなく、既存のソフトウェアをGLMの実装に活用する。 シミュレーションデータと実生活データにおいて,同一の正規化器の既存手法に対するpandaの優れた性能および類似性を示す。 PANDAを通した推論は, 名目上, ほぼ公称で, 既存の選抜法に比べ, はるかに効率的であることを示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Robust Gaussian Processes via Relevance Pursuit [17.39376866275623]
  本稿では,データポイント固有ノイズレベルを推定することにより,スパースアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,データポイント固有ノイズ分散において,関連する対数限界確率が強く抑制されるようなパラメータ化が可能であることを,驚くべきことに示している。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• On the Implicit Relation Between Low-Rank Adaptation and Differential Privacy [5.359060261460183]
  言語モデルの低ランクタスク適応(LoRAやFLoRAなど)が提案されている。 データプライバシのレンズからの低ランク適応に注目します。 他の既存の微調整アルゴリズムとは異なり、低ランク適応は暗黙的に微調整データのプライバシーを提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Robust Learning under Hybrid Noise [24.36707245704713]
  本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:13:25Z)
• A Corrected Expected Improvement Acquisition Function Under Noisy Observations [22.63212972670109]
  期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
  論文  参考訳（メタデータ） (2023-10-08T13:50:39Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。