論文の概要: U(1) Symmetry-breaking Observed in Generic CNN Bottleneck Layers
- arxiv url: http://arxiv.org/abs/2206.02220v1
- Date: Sun, 5 Jun 2022 16:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 10:28:41.668652
- Title: U(1) Symmetry-breaking Observed in Generic CNN Bottleneck Layers
- Title（参考訳）: ジェネリックCNNボトルネック層で観測されたU(1)対称性の破れ
- Authors: Louis-Fran\c{c}ois Bouchard, Mohsen Ben Lazreg and Matthew Toews
- Abstract要約: 本稿では, 深部畳み込みニューラルネットワーク(CNN)と生体ビジョン, 基礎粒子物理を結びつける重要な発見について報告する。
CNNにおける情報伝達のモデルが光学系に類似して提案される。
- 参考スコア（独自算出の注目度）: 2.1829116024916844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report on a significant discovery linking deep convolutional neural
networks (CNN) to biological vision and fundamental particle physics. A model
of information propagation in a CNN is proposed via an analogy to an optical
system, where bosonic particles (i.e. photons) are concentrated as the 2D
spatial resolution of the image collapses to a focal point $1\times 1=1$. A 3D
space $(x,y,t)$ is defined by $(x,y)$ coordinates in the image plane and CNN
layer $t$, where a principal ray $(0,0,t)$ runs in the direction of information
propagation through both the optical axis and the image center pixel located at
$(x,y)=(0,0)$, about which the sharpest possible spatial focus is limited to a
circle of confusion in the image plane. Our novel insight is to model the
principal optical ray $(0,0,t)$ as geometrically equivalent to the medial
vector in the positive orthant $I(x,y) \in R^{N+}$ of a $N$-channel activation
space, e.g. along the greyscale (or luminance) vector $(t,t,t)$ in $RGB$ colour
space. Information is thus concentrated into an energy potential
$E(x,y,t)=\|I(x,y,t)\|^2$, which, particularly for bottleneck layers $t$ of
generic CNNs, is highly concentrated and symmetric about the spatial origin
$(0,0,t)$ and exhibits the well-known "Sombrero" potential of the boson
particle. This symmetry is broken in classification, where bottleneck layers of
generic pre-trained CNN models exhibit a consistent class-specific bias towards
an angle $\theta \in U(1)$ defined simultaneously in the image plane and in
activation feature space. Initial observations validate our hypothesis from
generic pre-trained CNN activation maps and a bare-bones memory-based
classification scheme, with no training or tuning. Training from scratch using
a random $U(1)$ class label the leads to improved classification in all cases.
- Abstract（参考訳）: 本稿では, 深部畳み込みニューラルネットワーク(CNN)と生体ビジョン, 基礎粒子物理を結びつける重要な発見について報告する。
CNNにおける情報伝達のモデルが光学系と類似して提案され、ボゾン粒子(すなわち光子)は、画像の2次元空間分解能が焦点1ドル=1$に崩壊するにつれて集中される。
3D空間$(x,y,t)$は、画像平面内の座標$(x,y)$と、CNN層$t$で定義される。そこで、主線$(0,0,t)$は、光軸と画像中心画素の両方を通して情報伝搬の方向に走り、最も鋭い空間焦点は画像平面内の混乱の円に制限される。
我々の新しい洞察は、主光学光線 $(0,0,t)$ を、rgb$ 色空間のグレイスケール(または輝度)ベクトル $(t,t,t)$ に沿って、n$ チャネルの活性化空間の正のオルマント $i(x,y) \in r^{n+}$ における媒質ベクトルと幾何学的に等価であるとモデル化することである。
したがって、情報はエネルギーポテンシャル $e(x,y,t)=\|i(x,y,t)\|^2$ に集中し、特にボトルネック層に対して、ジェネリック cnn の $t$ は、空間的起源 $(0,0,t)$ に対して非常に集中して対称であり、ボソン粒子のよく知られた "sombrero" ポテンシャルを示す。
この対称性は分類において破られ、一般的な事前訓練されたCNNモデルのボトルネック層は、画像平面とアクティベーション特徴空間で同時に定義される角度$\theta \in U(1)$に対して一貫したクラス固有のバイアスを示す。
最初の観測では、トレーニングやチューニングを伴わずに、一般的なCNNアクティベーションマップとベアボーンメモリベースの分類スキームから仮説を検証する。
ランダムな$u(1)$クラスラベルを使ってスクラッチからトレーニングすると、すべてのケースで分類が改善される。
関連論文リスト
- Dimension-independent rates for structured neural density estimation [20.127707015407967]
深部ニューラルネットワークは, 構造密度の学習において, 次元に依存しない収束率を達成することを示す。
我々の結果は、画像、音声、ビデオ、テキストデータの現実的なモデルに適用できる。
論文 参考訳（メタデータ） (2024-11-22T17:50:27Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Self-Directed Linear Classification [50.659479930171585]
オンライン分類では、学習者は、誤りの総数を最小限に抑えるために、オンラインでラベルを予測することを目的としている。
そこで本研究では,予測順序の選択能力について検討し,最低次学習とランダム次学習の分離を初めて確立する。
論文 参考訳（メタデータ） (2023-08-06T15:38:44Z) - Hierarchical Inference of the Lensing Convergence from Photometric
Catalogs with Bayesian Graph Neural Networks [0.0]
我々は銀河ギャラクシーレンズのスケールを$sim$1$''で変動させ、BGNNを訓練するためにランダムな視線を抽出する。
BGNNは、1000の視線からなる各テストセットに対して、個々の$kappa$aftersを推論し、階層的ベイズモデルで組み合わせる。
トレーニングセットでよくサンプリングされたテストフィールドに対して、BGNNは、正確にはバイアスなく、人口平均の$kappa$を回収する。
論文 参考訳（メタデータ） (2022-11-15T00:29:20Z) - Overparametrized linear dimensionality reductions: From projection
pursuit to two-layer neural networks [10.368585938419619]
$mathbbRd$に$n$のデータポイントのクラウドが与えられると、$mathbbRd$の$m$次元部分空間へのすべての射影を考える。
この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか?
この極限の低次元射影として生じる $mathbbRm$ の確率分布の集合の α$ を $mathscrF_m で表すと、$mathscrF_ に新たな内界と外界を確立する。
論文 参考訳（メタデータ） (2022-06-14T00:07:33Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Exploring the Common Principal Subspace of Deep Features in Neural
Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。
具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。
異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文 参考訳（メタデータ） (2021-10-06T15:48:32Z) - OSLO: On-the-Sphere Learning for Omnidirectional images and its
application to 360-degree image compression [59.58879331876508]
全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。
提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
論文 参考訳（メタデータ） (2021-07-19T22:14:30Z) - On the emergence of tetrahedral symmetry in the final and penultimate
layers of neural network classifiers [9.975163460952045]
分類器の最終的な出力である$h$ であっても、$h$ が浅いネットワークである場合、$c_i$ のクラスからのデータサンプルは均一ではない。
本研究は,高表現性深層ニューラルネットワークの玩具モデルにおいて,この観察を解析的に説明する。
論文 参考訳（メタデータ） (2020-12-10T02:32:52Z) - DeepMerge: Classifying High-redshift Merging Galaxies with Deep Neural
Networks [0.0]
シミュレーション画像において、融合銀河と非融合銀河を区別する作業に畳み込みニューラルネットワーク(CNN)を用いることを示す。
我々は、Illustris-1の宇宙シミュレーションから、融合銀河と非融合銀河の画像を抽出し、観測および実験的ノイズを適用した。
CNNのテストセットの分類精度は、プリスタンが79%、ノイズが76%である。
論文 参考訳（メタデータ） (2020-04-24T20:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。