論文の概要: The Space Between: On Folding, Symmetries and Sampling

• arxiv url: http://arxiv.org/abs/2503.08502v1
• Date: Tue, 11 Mar 2025 14:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:10.061551
• Title: The Space Between: On Folding, Symmetries and Sampling
• Title（参考訳）: 折り畳み、対称性、サンプリングの空間
• Authors: Michal Lewandowski, Bernhard Heinzl, Raphael Pisoni, Bernhard A. Moser,
• Abstract要約: 本稿では、ReLU活性化空間におけるハミング距離に基づく空間折り畳み測度を提案する。 一般化誤差が低い場合,空間の折り畳み値はネットワーク深さによって増加するが,誤差が大きくなると減少することを示す。 これらの知見に触発されて,ネットワークに高い折り畳み値の解を求める新たな正規化手法を概説した。
• 参考スコア（独自算出の注目度）: 4.16445550760248
• License:
• Abstract: Recent findings suggest that consecutive layers of neural networks with the ReLU activation function \emph{fold} the input space during the learning process. While many works hint at this phenomenon, an approach to quantify the folding was only recently proposed by means of a space folding measure based on Hamming distance in the ReLU activation space. We generalize this measure to a wider class of activation functions through introduction of equivalence classes of input data, analyse its mathematical and computational properties and come up with an efficient sampling strategy for its implementation. Moreover, it has been observed that space folding values increase with network depth when the generalization error is low, but decrease when the error increases. This underpins that learned symmetries in the data manifold (e.g., invariance under reflection) become visible in terms of space folds, contributing to the network's generalization capacity. Inspired by these findings, we outline a novel regularization scheme that encourages the network to seek solutions characterized by higher folding values.
• Abstract（参考訳）: 近年の研究では、ReLUアクティベーション機能を持つニューラルネットワークの連続層が、学習過程中に入力空間を拡大していることが示唆されている。 多くの研究がこの現象を示唆しているが、この折り畳みを定量化するためのアプローチは、ReLU活性化空間におけるハミング距離に基づく空間折り畳み測度によってのみ提案された。 我々は、入力データの等価クラスを導入し、その数学的および計算的性質を分析して、より広範な活性化関数のクラスに一般化し、その実装のための効率的なサンプリング戦略を考案する。 さらに、一般化誤差が低い場合、空間の折り畳み値はネットワーク深さとともに増加するが、誤差が大きくなると減少する。 このことは、データ多様体(例えば、反射下での不変性)の対称性を学習した人が空間の折りたたみによって見えるようになり、ネットワークの一般化能力に寄与することを示している。 これらの知見に触発されて,ネットワークに高い折り畳み値の解を求める新たな正規化手法を概説した。

関連論文リスト

• On Space Folds of ReLU Neural Networks [6.019268056469171]
  近年の研究では、ReLUニューラルネットワークは入力空間の空間折り畳みとして幾何学的に理解できることが示唆されている。 本稿では、この空間現象をReLUモデルで初めて定量的に解析する。
  論文  参考訳（メタデータ） (2025-02-14T07:22:24Z)
• Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers [0.0]
  同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。 提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-12T11:16:57Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Regression as Classification: Influence of Task Formulation on Neural Network Features [16.239708754973865]
  ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
  論文  参考訳（メタデータ） (2022-11-10T15:13:23Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Extreme Memorization via Scale of Initialization [72.78162454173803]
  我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。 一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。 均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
  論文  参考訳（メタデータ） (2020-08-31T04:53:11Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。