論文の概要: Gradient-Based Feature Learning under Structured Data

• arxiv url: http://arxiv.org/abs/2309.03843v1
• Date: Thu, 7 Sep 2023 16:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 12:09:07.162024
• Title: Gradient-Based Feature Learning under Structured Data
• Title（参考訳）: 構造化データに基づく勾配型特徴学習
• Authors: Alireza Mousavi-Hosseini and Denny Wu and Taiji Suzuki and Murat A. Erdogdu
• Abstract要約: 異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
• 参考スコア（独自算出の注目度）: 57.76552698981579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated that the sample complexity of gradient-based learning of single index models, i.e. functions that depend on a 1-dimensional projection of the input data, is governed by their information exponent. However, these results are only concerned with isotropic data, while in practice the input often contains additional structure which can implicitly guide the algorithm. In this work, we investigate the effect of a spiked covariance structure and reveal several interesting phenomena. First, we show that in the anisotropic setting, the commonly used spherical gradient dynamics may fail to recover the true direction, even when the spike is perfectly aligned with the target direction. Next, we show that appropriate weight normalization that is reminiscent of batch normalization can alleviate this issue. Further, by exploiting the alignment between the (spiked) input covariance and the target, we obtain improved sample complexity compared to the isotropic case. In particular, under the spiked model with a suitably large spike, the sample complexity of gradient-based training can be made independent of the information exponent while also outperforming lower bounds for rotationally invariant kernel methods.
• Abstract（参考訳）: 近年の研究では、入力データの1次元投影に依存する関数である単一インデックスモデルの勾配に基づく学習のサンプル複雑さが、情報指数によって制御されていることが示されている。 しかし、これらの結果は等方性データのみに関係しており、実際には、入力は暗黙的にアルゴリズムを導くことができる追加の構造を含んでいることが多い。 本研究では,スパイク共分散構造の効果を調べ,いくつかの興味深い現象を明らかにする。 まず, 異方性設定では, スパイクが目標方向と完全に一致していても, 一般的に使用される球面勾配ダイナミクスは真の方向を回復できない場合がある。 次に,バッチ正規化を想起する適切な重み正規化がこの問題を緩和することを示す。 さらに、(スピーク)入力共分散と目標とのアライメントを利用して、等方性の場合と比較して試料の複雑さが向上する。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にでき、また回転不変なカーネルメソッドの下位境界よりも優れている。

関連論文リスト

• Learning Collective Variables with Synthetic Data Augmentation through Physics-Inspired Geodesic Interpolation [1.4972659820929493]
  分子動力学シミュレーションでは、タンパク質の折り畳みのようなまれな事象は、通常、強化されたサンプリング技術を用いて研究される。 本研究では,タンパク質の折り畳み遷移に類似した測地線を生成するために物理に着想を得た指標を用いたシミュレーションフリーなデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:35:02Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Model discovery in the sparse sampling regime [0.0]
  深層学習が部分微分方程式のモデル発見をいかに改善できるかを示す。 その結果、ディープラーニングに基づくモデル発見は、基礎となる方程式を復元することができる。 我々は合成集合と実験集合の両方について主張する。
  論文  参考訳（メタデータ） (2021-05-02T06:27:05Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。