論文の概要: Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors

• arxiv url: http://arxiv.org/abs/2002.10614v3
• Date: Thu, 20 Aug 2020 14:55:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:44:25.948337
• Title: Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
• Title（参考訳）: 部分空間フィッティングの回帰--一般化エラーの二重発色に及ぼすスーパービジョンとorthonormality制約の影響
• Authors: Yehuda Dar, Paul Mayer, Lorenzo Luzi, Richard G. Baraniuk
• Abstract要約: トレーニングデータに様々なレベルの監督を施した線形部分空間嵌合問題について検討する。 この柔軟な問題の族は、標準的な非教師付き部分空間のフィッティングと、完全に監督された対応する回帰タスクを厳密な正則性に結び付ける。 対応する部分空間フィッティング問題の一般化誤差は、設定がより監督的になり、正規化の制約が小さくなるにつれて、二重降下傾向に従うことを示す。
• 参考スコア（独自算出の注目度）: 25.327968336303933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the linear subspace fitting problem in the overparameterized setting, where the estimated subspace can perfectly interpolate the training examples. Our scope includes the least-squares solutions to subspace fitting tasks with varying levels of supervision in the training data (i.e., the proportion of input-output examples of the desired low-dimensional mapping) and orthonormality of the vectors defining the learned operator. This flexible family of problems connects standard, unsupervised subspace fitting that enforces strict orthonormality with a corresponding regression task that is fully supervised and does not constrain the linear operator structure. This class of problems is defined over a supervision-orthonormality plane, where each coordinate induces a problem instance with a unique pair of supervision level and softness of orthonormality constraints. We explore this plane and show that the generalization errors of the corresponding subspace fitting problems follow double descent trends as the settings become more supervised and less orthonormally constrained.
• Abstract（参考訳）: 推定された部分空間がトレーニング例を完全に補間できる過パラメータ設定における線形部分空間嵌合問題について検討する。 我々のスコープは、トレーニングデータ(所望の低次元写像の入出力例の割合)における様々なレベルの監督と学習演算子を定義するベクトルの正則性を含む部分空間適合タスクに対する最小二乗解を含む。 この柔軟な問題群は、厳密な正規直交を強制する標準的な教師なし部分空間フィッティングと、完全に教師ありかつ線型作用素構造を制約しない対応する回帰タスクを結びつける。 このクラスの問題は、各座標が一意的な監督レベルと正則性制約のソフトネスを持つ問題インスタンスを誘導する監督正規化平面上で定義される。 この平面を探索し、対応する部分空間フィッティング問題の一般化誤差は、設定がより監督され、正規に制約されないようになるにつれて、二重降下傾向に従うことを示す。

関連論文リスト

• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• A successive approximation method in functional spaces for hierarchical optimal control problems and its application to learning [0.0]
  本研究では,高次元非線形関数をモデル化するための点推定の学習問題について考察する。 デューコースにおける推定パラメータは、異なるモデル検証データセット上で許容できる予測精度を提供する。 最適化段階における一般化と正規化の両方を適切に考慮する枠組みを提供する。
  論文  参考訳（メタデータ） (2024-10-27T22:28:07Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Expressing linear equality constraints in feedforward neural networks [9.918927210224165]
  制約が課される予測補助変数を持つ新しいサドル点ラグランジアンを導入する。 補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題につながる。 ラグランジュパラメータの驚くべき解釈は、制約から生じる固定重みを持つ無限層隠蔽単位として得られる。
  論文  参考訳（メタデータ） (2022-11-08T17:39:05Z)
• A Novel Plug-and-Play Approach for Adversarially Robust Generalization [38.72514422694518]
  本稿では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを採用する頑健なフレームワークを提案する。 私たちの貢献は、計算学と統計学の両方の観点から見ることができます。
  論文  参考訳（メタデータ） (2022-08-19T17:02:55Z)
• The Geometry of Adversarial Training in Binary Classification [1.2891210250935143]
  我々は,非パラメトリック二分分類における対角的学習問題の族と正規化リスク最小化問題の族との同値性を確立する。 結果として生じる正規化リスク最小化問題は、$L1+$(非局所)$operatornameTV$の正確な凸緩和を許容する。
  論文  参考訳（メタデータ） (2021-11-26T17:19:50Z)
• Decentralized Feature-Distributed Optimization for Generalized Linear Models [19.800898945436384]
  一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。 各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。 問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
  論文  参考訳（メタデータ） (2021-10-28T16:42:47Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。