論文の概要: Symmetric Single Index Learning

• arxiv url: http://arxiv.org/abs/2310.02117v1
• Date: Tue, 3 Oct 2023 14:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 13:36:01.245579
• Title: Symmetric Single Index Learning
• Title（参考訳）: シンメトリ・シングルインデックス学習
• Authors: Aaron Zweig, Joan Bruna
• Abstract要約: 1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。 我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
• 参考スコア（独自算出の注目度）: 46.7352578439663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few neural architectures lend themselves to provable learning with gradient based methods. One popular model is the single-index model, in which labels are produced by composing an unknown linear projection with a possibly unknown scalar link function. Learning this model with SGD is relatively well-understood, whereby the so-called information exponent of the link function governs a polynomial sample complexity rate. However, extending this analysis to deeper or more complicated architectures remains challenging. In this work, we consider single index learning in the setting of symmetric neural networks. Under analytic assumptions on the activation and maximum degree assumptions on the link function, we prove that gradient flow recovers the hidden planted direction, represented as a finitely supported vector in the feature space of power sum polynomials. We characterize a notion of information exponent adapted to our setting that controls the efficiency of learning.
• Abstract（参考訳）: 勾配に基づく手法で証明可能な学習を行う神経アーキテクチャはほとんどない。 人気のあるモデルはシングルインデックスモデルであり、ラベルは未知の線形射影と未知のスカラーリンク関数を構成することによって生成される。 このモデルをSGDで学習することは比較的よく理解されており、いわゆるリンク関数の情報指数が多項式サンプルの複雑性率を管理する。 しかし、この分析をより深く複雑なアーキテクチャに拡張することは依然として困難である。 本研究では,対称ニューラルネットワークにおける単一索引学習について考察する。 リンク関数の活性化と最大次数仮定に関する解析的な仮定の下で、勾配流は、パワー和多項式の特徴空間において有限支持ベクトルとして表される隠れた植込み方向を回復する。 学習効率を制御する設定に適応した情報指数の概念を特徴付ける。

関連論文リスト

• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• GINN-LP: A Growing Interpretable Neural Network for Discovering Multivariate Laurent Polynomial Equations [1.1142444517901018]
  本稿では,解釈可能なニューラルネットワークであるGINN-LPを提案する。 私たちの知る限りでは、これは注文に関する事前情報なしで任意の項を発見できる最初のニューラルネットワークである。 GINN-LPは,データセット上での最先端のシンボル回帰手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-18T03:44:29Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• On Single Index Models beyond Gaussian Data [45.875461749455994]
  緩やかな高次元関数は、勾配-蛍光法の振舞いを研究するための豊富な枠組みとして生まれてきた。 この研究では、安定性と対称性の両方に反する可能性のあるガウス的な設定を超えて、この図の拡張を探求する。 本研究の主な成果は,高次元状態下での未知方向$theta*$を効率よく回収できることである。
  論文  参考訳（メタデータ） (2023-07-28T20:52:22Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
  本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。 本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。 画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
  論文  参考訳（メタデータ） (2022-10-23T07:17:55Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。