論文の概要: Uniform Convergence, Adversarial Spheres and a Simple Remedy

• arxiv url: http://arxiv.org/abs/2105.03491v1
• Date: Fri, 7 May 2021 20:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:24:44.596110
• Title: Uniform Convergence, Adversarial Spheres and a Simple Remedy
• Title（参考訳）: 一様収束, 対角球および簡単な治療
• Authors: Gregor Bachmann, Seyed-Mohsen Moosavi-Dezfooli, Thomas Hofmann
• Abstract要約: これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
• 参考スコア（独自算出の注目度）: 40.44709296304123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous work has cast doubt on the general framework of uniform convergence and its ability to explain generalization in neural networks. By considering a specific dataset, it was observed that a neural network completely misclassifies a projection of the training data (adversarial set), rendering any existing generalization bound based on uniform convergence vacuous. We provide an extensive theoretical investigation of the previously studied data setting through the lens of infinitely-wide models. We prove that the Neural Tangent Kernel (NTK) also suffers from the same phenomenon and we uncover its origin. We highlight the important role of the output bias and show theoretically as well as empirically how a sensible choice completely mitigates the problem. We identify sharp phase transitions in the accuracy on the adversarial set and study its dependency on the training sample size. As a result, we are able to characterize critical sample sizes beyond which the effect disappears. Moreover, we study decompositions of a neural network into a clean and noisy part by considering its canonical decomposition into its different eigenfunctions and show empirically that for too small bias the adversarial phenomenon still persists.
• Abstract（参考訳）: これまでの研究は、一様収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 特定のデータセットを考慮することで、ニューラルネットワークはトレーニングデータの投影(逆数集合)を完全に誤って分類し、一様収束空白に基づいて既存の一般化を束縛する。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラル・タンジェント・カーネル(NTK)も同じ現象に悩まされており、その起源を明らかにする。 我々は,アウトプットバイアスの重要な役割を強調し,理論的に,賢明な選択が問題をいかに完全に緩和するかを実証的に示す。 敵セットにおける鋭い位相遷移の精度を同定し,その学習サンプルサイズ依存性について検討した。 結果として、我々は効果が消える向こうの臨界サンプルサイズを特徴づけることができる。 さらに, ニューラルネットワークの正準分解を異なる固有関数に考慮し, クリーンでノイズの多い部分への分解について検討し, バイアスが小すぎる場合でも相反する現象が持続することを示す。

関連論文リスト

• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning [22.59771349030541]
  サンプル間の相互作用を測定する際にラベル情報を考慮に入れた疑似ニューラルタンジェントカーネル(lpNTK)を提案する。 lpNTKは、以前の研究で特定された学習現象、特にサンプルの学習困難と学習中の出来事を忘れることを理解するのに役立つ。 筆者らは,lpNTKを用いて中毒訓練サンプルを同定・除去することは,ANNの一般化性能を損なうものではないことを示した。
  論文  参考訳（メタデータ） (2024-01-16T20:20:10Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Topologically Densified Distributions [25.140319008330167]
  オーバーパラメータ化ニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。 我々は、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。 このことは、トレーニングインスタンスの表現に関する質量濃度の影響を確実に引き起こす。
  論文  参考訳（メタデータ） (2020-02-12T05:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。