論文の概要: Implicit Regularization Paths of Weighted Neural Representations

• arxiv url: http://arxiv.org/abs/2408.15784v1
• Date: Wed, 28 Aug 2024 13:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 15:50:41.187519
• Title: Implicit Regularization Paths of Weighted Neural Representations
• Title（参考訳）: 重み付きニューラル表現の暗黙的正規化経路
• Authors: Jin-Hong Du, Pratik Patil,
• Abstract要約: 事前訓練した特徴の観測(観察)によって誘発される暗黙の正則化効果について検討した。 有界ノルムの試験ベクトルに対して、同じ経路に沿って重み付けされた特徴を訓練したリッジ推定器が無限に等価であることを示す。
• 参考スコア（独自算出の注目度）: 2.6534407766508177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the implicit regularization effects induced by (observation) weighting of pretrained features. For weight and feature matrices of bounded operator norms that are infinitesimally free with respect to (normalized) trace functionals, we derive equivalence paths connecting different weighting matrices and ridge regularization levels. Specifically, we show that ridge estimators trained on weighted features along the same path are asymptotically equivalent when evaluated against test vectors of bounded norms. These paths can be interpreted as matching the effective degrees of freedom of ridge estimators fitted with weighted features. For the special case of subsampling without replacement, our results apply to independently sampled random features and kernel features and confirm recent conjectures (Conjectures 7 and 8) of the authors on the existence of such paths in Patil et al. We also present an additive risk decomposition for ensembles of weighted estimators and show that the risks are equivalent along the paths when the ensemble size goes to infinity. As a practical consequence of the path equivalences, we develop an efficient cross-validation method for tuning and apply it to subsampled pretrained representations across several models (e.g., ResNet-50) and datasets (e.g., CIFAR-100).
• Abstract（参考訳）: 事前訓練した特徴の(観測)重み付けによる暗黙の正則化効果について検討した。 (正規化)トレース函数に関して無限小自由な有界作用素ノルムの重みと特徴行列に対して、異なる重み付け行列とリッジ正規化レベルを連結する同値経路を導出する。 具体的には、有界ノルムのテストベクトルに対して、同じ経路に沿って重み付けされた特徴を訓練したリッジ推定器が漸近的に等価であることを示す。 これらの経路は、重み付けされた特徴を備えた尾根推定器の有効自由度と一致すると解釈できる。 置換のない部分サンプリングの特別な場合については、独立にサンプリングされたランダムな特徴やカーネルの特徴に適用し、Patil等におけるそのような経路の存在に関する著者の最近の予想(Conjectures 7, 8)を確認するとともに、重み付き推定器のアンサンブルに対する付加的リスク分解を示し、アンサンブルサイズが無限大となるときの経路に沿ってリスクが等価であることを示す。 経路等価性の実際的な結果として,複数のモデル (ResNet-50) とデータセット (CIFAR-100) のサブサンプル化された事前学習表現に適用し,効率的なクロスバリデーション手法を開発した。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Assumption-Lean Post-Integrated Inference with Negative Control Outcomes [0.0]
  負の制御結果を用いて遅延不均一性を調整する頑健なポストインテグレート推論(PII)手法を提案する。 提案手法は,予測された直接効果推定値,隠された仲介者,共同設立者,モデレーターまで拡張する。 提案された二重頑健な推定器は、最小の仮定と潜在的な不特定性の下で一貫性があり、効率的である。
  論文  参考訳（メタデータ） (2024-10-07T12:52:38Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
  アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。 我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
  論文  参考訳（メタデータ） (2023-05-29T14:05:51Z)
• Covariate balancing using the integral probability metric for causal inference [1.8899300124593648]
  本稿では,2つの確率測度間の距離である積分確率測度(IPM)について検討する。 モデルを正確に指定することなく,対応する推定器の整合性を証明した。 提案手法は, 有限標本に対して, 既存の重み付け法よりも大きなマージンを有する。
  論文  参考訳（メタデータ） (2023-05-23T06:06:45Z)
• Semi-parametric inference based on adaptively collected data [34.56133468275712]
  データ収集における適応性を考慮した重み付き推定式を構築した。 本研究の結果は,正常性の保持に必要な「探索可能性」の度合いを特徴づけるものである。 我々は、標準線形帯域やスパース一般化帯域を含む様々な問題に対する具体的結果を用いて、我々の一般理論を説明する。
  論文  参考訳（メタデータ） (2023-03-05T00:45:32Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。