Fugu-MT 論文翻訳(概要): The QR decomposition for radial neural networks

論文の概要: The QR decomposition for radial neural networks

arxiv url: http://arxiv.org/abs/2107.02550v1
Date: Tue, 6 Jul 2021 11:41:02 GMT
ステータス: 処理完了
システム内更新日: 2021-07-07 21:16:41.008201
Title: The QR decomposition for radial neural networks
Title（参考訳）: 放射状ニューラルネットワークにおけるQR分解
Authors: Iordan Ganev, Robin Walters
Abstract要約: 我々は、クイバーの表現論の観点から、ニューラルネットワークの理論的枠組みを提供する。これらの対称性の活用により、ラジアルニューラルネットワークのモデル圧縮アルゴリズムが実現される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We provide a theoretical framework for neural networks in terms of the representation theory of quivers, thus revealing symmetries of the parameter space of neural networks. An exploitation of these symmetries leads to a model compression algorithm for radial neural networks based on an analogue of the QR decomposition. A projected version of backpropogation on the original model matches usual backpropogation on the compressed model.
Abstract（参考訳）: 本稿では,クイバーの表現論の観点からニューラルネットワークの理論的枠組みを提案し,ニューラルネットワークのパラメータ空間の対称性を明らかにする。これらの対称性の活用により、QR分解の類似に基づくラジアルニューラルネットワークのモデル圧縮アルゴリズムが実現される。オリジナルのモデルでのバックプロパゲーションの投影バージョンは、圧縮モデルでの通常のバックプロパゲーションと一致する。

関連論文リスト

The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
論文参考訳（メタデータ） (2024-05-30T16:32:31Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE [2.002741592555996]
本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。数理的にニューラルネットワークのパラメトリックな冗長性を定式化し、それらのゲージ対称性が時空微分同相によって与えられることを確かめる。ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。
論文参考訳（メタデータ） (2024-02-04T06:11:54Z)
A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文参考訳（メタデータ） (2023-01-24T08:39:20Z)
Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文参考訳（メタデータ） (2022-09-17T17:02:35Z)
Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文参考訳（メタデータ） (2022-07-26T09:42:45Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Invertible Neural Networks versus MCMC for Posterior Reconstruction in Grazing Incidence X-Ray Fluorescence [0.3232625980782302]
本稿では,フォワードモデルが生成した雑音の測定値に基づいて,適切に学習された非可逆ニューラルネットワークを用いて後部パラメータ分布を再構成する。提案手法はマルコフ・チェイン・モンテカルロ法と競合するが, より効率的かつ柔軟であることを示す。
論文参考訳（メタデータ） (2021-02-05T14:17:59Z)
Ridge Regression with Over-Parametrized Two-Layer Networks Converge to Ridgelet Spectrum [10.05944106581306]
パラメータの分布は、リッジレット変換のスペクトルに収束することを示す。この結果は、ニューラルネットワークの局所的なミニマを特徴づける新たな洞察を与える。
論文参考訳（メタデータ） (2020-07-07T13:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。