論文の概要: The Geometry of Over-parameterized Regression and Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2103.14108v1
• Date: Thu, 25 Mar 2021 19:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 02:33:57.276179
• Title: The Geometry of Over-parameterized Regression and Adversarial Perturbations
• Title（参考訳）: 過パラメータ回帰と対向摂動の幾何学
• Authors: Jason W. Rocks and Pankaj Mehta
• Abstract要約: パラメータ化モデルと過度パラメータ化モデルの両方に適用可能な回帰の幾何学的解釈を提案する。 逆摂動はバイアスモデルの基本形状から生じる一般的な特徴であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical regression has a simple geometric description in terms of a projection of the training labels onto the column space of the design matrix. However, for over-parameterized models -- where the number of fit parameters is large enough to perfectly fit the training data -- this picture becomes uninformative. Here, we present an alternative geometric interpretation of regression that applies to both under- and over-parameterized models. Unlike the classical picture which takes place in the space of training labels, our new picture resides in the space of input features. This new feature-based perspective provides a natural geometric interpretation of the double-descent phenomenon in the context of bias and variance, explaining why it can occur even in the absence of label noise. Furthermore, we show that adversarial perturbations -- small perturbations to the input features that result in large changes in label values -- are a generic feature of biased models, arising from the underlying geometry. We demonstrate these ideas by analyzing three minimal models for over-parameterized linear least squares regression: without basis functions (input features equal model features) and with linear or nonlinear basis functions (two-layer neural networks with linear or nonlinear activation functions, respectively).
• Abstract（参考訳）: 古典的な回帰は、トレーニングラベルをデザイン行列の列空間に投影するという観点で単純な幾何学的記述を持つ。 しかし、適合パラメータの数がトレーニングデータに完全に適合するほど大きい過剰パラメータモデルの場合、この図は非形式的になる。 ここでは,過小パラメータモデルと過大パラメータモデルの両方に適用可能な回帰の幾何学的解釈を提案する。 トレーニングラベルの空間で発生する古典的な絵とは異なり、私たちの新しい絵は入力特徴の空間に存在する。 この新しい特徴に基づく視点は、バイアスと分散の文脈における二重発振現象の自然な幾何学的解釈を提供し、なぜラベルノイズがなくても起こりうるのかを説明する。 さらに,ラベル値に大きな変化をもたらす入力特徴に対する小さな摂動は,下層の幾何学から生じる偏りのあるモデルの一般的な特徴であることを示す。 線形・非線形基底関数(線形・非線形アクティベーション関数を持つ2層ニューラルネットワーク)を非基底関数(入力特性が等しい)と非線形基底関数(入力特性が等しい)の3つの最小モデルの解析により,これらのアイデアを実証する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Leveraging Equivariant Features for Absolute Pose Regression [9.30597356471664]
  変換と回転の同変である畳み込みニューラルネットワークは,カメラの動きの表現を直接特徴空間に誘導することを示す。 次に、この幾何学的性質により、画像平面保存変換の全グループの下でトレーニングデータを暗黙的に増大させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-05T12:44:20Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Bias-variance decomposition of overparameterized regression with random linear features [0.0]
  パラメータ化モデル」は、トレーニングデータに完全に適合するのに十分な数のパラメータが適合している場合でも、過度に適合しないようにする。 ヘッセン行列の非零固有値が小さいため、各遷移がどのように生じるかを示す。 ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して比較する。
  論文  参考訳（メタデータ） (2022-03-10T16:09:21Z)
• Nonparametric Functional Analysis of Generalized Linear Models Under Nonlinear Constraints [0.0]
  本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。 これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。 これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
  論文  参考訳（メタデータ） (2021-10-11T04:49:59Z)
• Nonparametric Trace Regression in High Dimensions via Sign Series Representation [13.37650464374017]
  高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。 行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
  論文  参考訳（メタデータ） (2021-05-04T22:20:00Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。