論文の概要: Memorization Capacity of Invariant Convolutional Neural Nets

• arxiv url: http://arxiv.org/abs/2610.38938v1
• Date: Wed, 28 Oct 2026 21:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.421196
• Title: Memorization Capacity of Invariant Convolutional Neural Nets
• Title（参考訳）: 不変畳み込みニューラルネットの記憶容量
• Abstract要約: 我々は、データセットを2つのクラスで補間するためにしきい値のアクティベーションを必要とする不変畳み込みニューラルネットワークのサイズに関する上限を証明した。 与えられた入力データに対して、補間ネットワークのインスタンスは確率の高いランダム化アルゴリズムによって計算することができる。
• 参考スコア（独自算出の注目度）: 4.909190357006815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are powerful memorizers which are often able to interpolate their training data even when the labels have been randomized. While there exists an extensive literature on the memorization capacity of fully connected networks, in practice more specific architectures with problem-dependent properties are preferred, such as convolutional networks for image classification. In this paper we consider convolutional networks which are invariant with respect to a given arbitrary finite group of orthogonal transformations, which may include translations, reflections, and/or rotations of images and invariances of higher order tensors. We prove upper bounds on the size of an invariant convolutional neural network with threshold activations that is required to interpolate a given dataset with two classes. Our bounds are formulated in terms of a complexity measure that takes the invariant structure into account and is instance-specific, i.e., it is related to the mutual arrangement of the classes in the given dataset and their geometric properties rather than the number of samples. Our proof is constructive: for given input data, instances of an interpolating network can be computed via a randomized algorithm with high probability. In numerical experiments we investigate the practical effectiveness of this algorithm.
• Abstract（参考訳）: ニューラルネットワークは強力な記憶器であり、ラベルがランダム化されてもトレーニングデータを補間することができる。 完全連結ネットワークの記憶能力に関する広範な文献があるが、実際には画像分類のための畳み込みネットワークのような問題依存特性を持つ特定のアーキテクチャが好まれる。 本稿では、与えられた直交変換の任意の有限群に対して不変な畳み込みネットワークについて考察する。 我々は、与えられたデータセットを2つのクラスで補間するために必要なしきい値アクティベーションを持つ不変畳み込みニューラルネットワークのサイズに関する上限を証明した。 私たちの境界は、不変構造を考慮に入れ、インスタンス固有である複雑性測度、すなわち、与えられたデータセットのクラスとそれらの幾何学的性質の相互配置に関係している、という観点から定式化されている。 与えられた入力データに対して、補間ネットワークのインスタンスは確率の高いランダム化アルゴリズムによって計算できる。 数値実験では,本アルゴリズムの有効性について検討する。

関連論文リスト

• Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation [65.70290789922743]
  フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化する。 実験により,本手法は,独立に訓練されたコレクションの精度,機能的類似度,重量類似度に関する共同統計を密接に再現することを示した。
  論文  参考訳（メタデータ） (2026-09-26T18:04:17Z)
• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。 サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。