論文の概要: Robust Feature Learning for Multi-Index Models in High Dimensions
- arxiv url: http://arxiv.org/abs/2410.16449v1
- Date: Mon, 21 Oct 2024 19:20:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:30:17.029798
- Title: Robust Feature Learning for Multi-Index Models in High Dimensions
- Title（参考訳）: 高次元多次元モデルに対するロバスト特徴学習
- Authors: Alireza Mousavi-Hosseini, Adel Javanmard, Murat A. Erdogdu,
- Abstract要約: ニューラルネットワークで対向的に堅牢な特徴学習を理解するための第一歩を踏み出します。
逆向きの堅牢な学習は、標準的な学習と同じくらい簡単であることを示す。
- 参考スコア（独自算出の注目度）: 17.183648775698167
- License:
- Abstract: Recently, there have been numerous studies on feature learning with neural networks, specifically on learning single- and multi-index models where the target is a function of a low-dimensional projection of the input. Prior works have shown that in high dimensions, the majority of the compute and data resources are spent on recovering the low-dimensional projection; once this subspace is recovered, the remainder of the target can be learned independently of the ambient dimension. However, implications of feature learning in adversarial settings remain unexplored. In this work, we take the first steps towards understanding adversarially robust feature learning with neural networks. Specifically, we prove that the hidden directions of a multi-index model offer a Bayes optimal low-dimensional projection for robustness against $\ell_2$-bounded adversarial perturbations under the squared loss, assuming that the multi-index coordinates are statistically independent from the rest of the coordinates. Therefore, robust learning can be achieved by first performing standard feature learning, then robustly tuning a linear readout layer on top of the standard representations. In particular, we show that adversarially robust learning is just as easy as standard learning, in the sense that the additional number of samples needed to robustly learn multi-index models when compared to standard learning, does not depend on dimensionality.
- Abstract（参考訳）: 近年,ニューラルネットワークを用いた特徴学習,特にターゲットが入力の低次元射影関数である単一および複数インデックスモデルの学習に関する研究が数多く行われている。
以前の研究では、計算とデータ資源の大部分が低次元の射影の回復に費やされていることが示されており、この部分空間が回復すると、ターゲットの残りは周囲の次元とは独立して学習することができる。
しかし、敵の設定における特徴学習の影響は未解明のままである。
本研究では,ニューラルネットワークを用いた対向的ロバストな特徴学習を理解するための第一歩を踏み出す。
具体的には、多次元モデルの隠れ方向は、多次元座標が他の座標から統計的に独立であると仮定して、$\ell_2$-bounded adversarial perturbations に対する強靭性に対するベイズ最適低次元射影を与えることを証明している。
したがって、まず標準特徴学習を行い、次に標準表現の上に線形読み出し層を堅牢に調整することで、堅牢な学習を実現することができる。
特に,逆向きの頑健な学習は標準学習と同等に容易であることを示し,標準学習と比較して,複数インデックスモデルを頑健に学習するために必要なサンプルの数が次元に依存しないことを示す。
関連論文リスト
- iNeMo: Incremental Neural Mesh Models for Robust Class-Incremental Learning [22.14627083675405]
我々は、時間とともに新しいメッシュで拡張できるインクリメンタルニューラルネットワークモデルを提案する。
本研究では,Pascal3DおよびObjectNet3Dデータセットの広範な実験を通して,本手法の有効性を実証する。
我々の研究は、ポーズ推定のための最初の漸進的な学習手法も提示している。
論文 参考訳（メタデータ） (2024-07-12T13:57:49Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。
ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
論文 参考訳（メタデータ） (2024-05-29T04:53:31Z) - Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。
理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。
この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
論文 参考訳（メタデータ） (2024-05-24T11:34:31Z) - FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with
Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。
冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。
既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-12-28T14:52:07Z) - PointMoment:Mixed-Moment-based Self-Supervised Representation Learning
for 3D Point Clouds [11.980787751027872]
我々は,ポイントクラウドによる自己教師型表現学習のための新しいフレームワークであるPointMomentを提案する。
我々のフレームワークは、非対称ネットワークアーキテクチャや勾配停止など特別な技術を必要としない。
論文 参考訳（メタデータ） (2023-12-06T08:49:55Z) - Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
論文 参考訳（メタデータ） (2022-10-27T17:52:58Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳（メタデータ） (2022-09-15T15:41:47Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳（メタデータ） (2022-06-30T14:24:32Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。