論文の概要: Regularization Trade-offs with Fake Features

• arxiv url: http://arxiv.org/abs/2212.00433v2
• Date: Tue, 5 Dec 2023 08:12:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 20:29:42.501751
• Title: Regularization Trade-offs with Fake Features
• Title（参考訳）: フェイク機能による正規化トレードオフ
• Authors: Martin Hellkvist and Ay\c{c}a \"Oz\c{c}elikkale and Anders Ahl\'en
• Abstract要約: 本稿では、過度にパラメータ化されたモデルがフェイク機能を含むフレームワークについて考察する。 本稿では、リッジ回帰問題の一般化誤差に縛られる非漸近的高確率について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent successes of massively overparameterized models have inspired a new line of work investigating the underlying conditions that enable overparameterized models to generalize well. This paper considers a framework where the possibly overparametrized model includes fake features, i.e., features that are present in the model but not in the data. We present a non-asymptotic high-probability bound on the generalization error of the ridge regression problem under the model misspecification of having fake features. Our highprobability results provide insights into the interplay between the implicit regularization provided by the fake features and the explicit regularization provided by the ridge parameter. Numerical results illustrate the trade-off between the number of fake features and how the optimal ridge parameter may heavily depend on the number of fake features.
• Abstract（参考訳）: 近年の過パラメータモデルの成功は、過パラメータモデルがうまく一般化できる基礎となる条件を調査する新しい一連の研究に影響を与えている。 本稿では、過度にパラメータ化されたモデルに偽の機能、すなわちモデルに存在するがデータには存在しない機能を含むフレームワークについて考察する。 擬似特徴を持つモデルの誤特定の下で、リッジ回帰問題の一般化誤差に縛られる非漸近的高確率を示す。 以上の結果から,偽特徴による暗黙的正規化とリッジパラメータによる明示的正規化との相互作用について考察する。 数値計算の結果, 擬似特徴数と最適リッジパラメータとのトレードオフが, 擬似特徴数に大きく依存することを示す。

関連論文リスト

• Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off [0.0]
  データサイエンスの中心的な問題は、潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することである。 一般化エイリアス分解(GAD)と呼ばれる代替パラダイムを導入する。 GADは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算することができる。
  論文  参考訳（メタデータ） (2024-08-15T17:49:24Z)
• On the Parameter Identifiability of Partially Observed Linear Causal Models [23.08796869216895]
  因果構造と部分的に観察されたデータからエッジ係数を復元できるかどうかを検討する。 部分的に観察された線形因果モデルにおいて,パラメータの非決定性は3種類ある。 本稿では,潜伏変数の分散不確定性に特定の方法で対処する,確率に基づくパラメータ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T03:43:55Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Estimation and Model Misspecification: Fake and Missing Features [0.0]
  提案手法では,推定時に使用するシステムとモデルとの間にミスマッチが存在する場合,モデルミスセグメンテーションに基づく推定について検討する。 そこで本研究では, モデル不特定型と不特定型を併用して, ニセモノと欠落した特徴を有するモデル不特定型を共同処理できるモデル不特定型フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-07T13:50:15Z)
• Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation [11.219641045667055]
  そこで本研究では,暗黙の微分を用いたモデル学習において,期待値を直接最適化するエンド・ツー・エンドのアプローチを提案する。 モデル不特定化方式におけるアプローチの利点を、確率に基づく手法と比較した理論的および実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-06-06T23:15:49Z)
• Removing Spurious Features can Hurt Accuracy and Affect Groups Disproportionately [83.68135652247496]
  自然な修正は、モデルからスプリアスな特徴を取り除くことである。 誘導バイアスによる突発的特徴の除去は精度を低下させる可能性が示唆された。 また,ロバストな自己学習によって,全体的な正確性に影響を与えずにスプリアスな特徴を除去できることを示した。
  論文  参考訳（メタデータ） (2020-12-07T23:08:59Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• Causal Inference with Deep Causal Graphs [0.0]
  パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。 Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。 複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
  論文  参考訳（メタデータ） (2020-06-15T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。