論文の概要: Learning with invariances in random features and kernel models

• arxiv url: http://arxiv.org/abs/2102.13219v1
• Date: Thu, 25 Feb 2021 23:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 13:59:03.573177
• Title: Learning with invariances in random features and kernel models
• Title（参考訳）: ランダム特徴とカーネルモデルにおける不変性による学習
• Authors: Song Mei, Theodor Misiakiewicz, Andrea Montanari
• Abstract要約: モデルには不変な乱数特徴と不変なカーネルメソッドの2つのクラスを導入する。 サンプルサイズと非表示単位の数が寸法の推定値としてスケールする高次元状態における不変メソッドのテスト誤差を特徴づける。 アーキテクチャにおける不変性を利用すると、サンプルサイズの$dalpha$ factor($d$は次元を表す)と、非構造化アーキテクチャと同じテストエラーを達成するために隠されたユニットの数を節約できることを示す。
• 参考スコア（独自算出の注目度）: 19.78800773518545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A number of machine learning tasks entail a high degree of invariance: the data distribution does not change if we act on the data with a certain group of transformations. For instance, labels of images are invariant under translations of the images. Certain neural network architectures -- for instance, convolutional networks -- are believed to owe their success to the fact that they exploit such invariance properties. With the objective of quantifying the gain achieved by invariant architectures, we introduce two classes of models: invariant random features and invariant kernel methods. The latter includes, as a special case, the neural tangent kernel for convolutional networks with global average pooling. We consider uniform covariates distributions on the sphere and hypercube and a general invariant target function. We characterize the test error of invariant methods in a high-dimensional regime in which the sample size and number of hidden units scale as polynomials in the dimension, for a class of groups that we call `degeneracy $\alpha$', with $\alpha \leq 1$. We show that exploiting invariance in the architecture saves a $d^\alpha$ factor ($d$ stands for the dimension) in sample size and number of hidden units to achieve the same test error as for unstructured architectures. Finally, we show that output symmetrization of an unstructured kernel estimator does not give a significant statistical improvement; on the other hand, data augmentation with an unstructured kernel estimator is equivalent to an invariant kernel estimator and enjoys the same improvement in statistical efficiency.
• Abstract（参考訳）: 多くの機械学習タスクには、高い不変性が伴います。データ分散は、特定の変換グループでデータを操作しても変化しません。 例えば、画像のラベルは画像の翻訳の下で不変である。 あるニューラルネットワークアーキテクチャ(例えば畳み込みネットワーク)は、その成功は、そのような不変性を利用するという事実にあると信じられている。 不変なアーキテクチャによって達成される利益を定量化するために、不変のランダムな特徴と不変のカーネルメソッドの2つのモデルのクラスを紹介します。 後者は特別な場合として、グローバル平均プーリングを伴う畳み込みネットワークのための神経タンジェントカーネルを含む。 球面とハイパーキューブ上の一様共変量分布と一般不変ターゲット関数を考える。 我々は、'degeneracy $\alpha$' と呼ばれる群のクラスに対して、隠れた単位のサンプルサイズと値が次元の多項式としてスケールする高次元状態における不変メソッドのテスト誤差を、$\alpha \leq 1$ で特徴づける。 アーキテクチャにおける不変性の利用は、非構造化アーキテクチャと同じテストエラーを達成するために、サンプルサイズと隠れたユニットの数において$d^\alpha$ファクタ(d$は次元を表す)を節約する。 最後に,非構造化カーネル推定器の出力対称性は統計的に有意な改善をもたらさないことを示す。一方,非構造化カーネル推定器を用いたデータ拡張は不変カーネル推定器と同値であり,統計効率も同等である。

関連論文リスト

• Probabilistic Invariant Learning with Randomized Linear Classifiers [24.485477981244593]
  表現的かつ不変だがリソースが少ないランダム性と設計モデルをどのように活用するかを示す。 ランダム化アルゴリズムに着想を得て,Randomized Linears (RLC) と呼ばれる二進分類モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-08T17:18:04Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions [16.704246627541103]
  翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
  論文  参考訳（メタデータ） (2022-05-26T17:43:20Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
  tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。 そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。