Fugu-MT 論文翻訳(概要): Neural network is heterogeneous: Phase matters more

論文の概要: Neural network is heterogeneous: Phase matters more

arxiv url: http://arxiv.org/abs/2111.02014v1
Date: Wed, 3 Nov 2021 04:30:20 GMT
ステータス: 処理完了
システム内更新日: 2021-11-04 13:42:13.637881
Title: Neural network is heterogeneous: Phase matters more
Title（参考訳）: ニューラルネットワークはヘテロジニアスだ - フェーズがより重要
Authors: Yuqi Nie, Hui Yuan
Abstract要約: 複素数値ニューラルネットワークにおいて, 位相情報のみを保存した重み行列は, 異なる種類のプルーニングにおいて, 最良の精度が得られることを示す。この結論は、信号が位相に取って代わる実数値ニューラルネットワークに一般化することができる。
参考スコア（独自算出の注目度）: 10.812772606528172
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We find a heterogeneity in both complex and real valued neural networks with the insight from wave optics, claiming a much more important role of phase in the weight matrix than its amplitude counterpart. In complex-valued neural networks, we show that among different types of pruning, the weight matrix with only phase information preserved achieves the best accuracy, which holds robustly under various depths and widths. The conclusion can be generalized to real-valued neural networks, where signs take the place of phases. These inspiring findings enrich the techniques of network pruning and binary computation.
Abstract（参考訳）: 重み行列における位相の役割は、振幅行列よりもはるかに重要であると主張し、波動光学からの洞察による複雑なニューラルネットワークと実数値ニューラルネットワークの両面で異質性を見出した。複素数値ニューラルネットワークでは, 位相情報のみを保存した重み行列が, 様々な深さと幅で頑健に保持する最適精度を達成できることが示される。この結論は、信号が位相に取って代わる実数値ニューラルネットワークに一般化することができる。これらの着想的な発見は、ネットワークプラニングとバイナリ計算のテクニックを豊かにする。

関連論文リスト

Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文参考訳（メタデータ） (2024-10-09T21:37:14Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Regressions on quantum neural networks at maximal expressivity [0.0]
我々は、ネストした量子ビット回転の連続として構成できる普遍的な深部ニューラルネットワークの表現性を分析する。最大表現力は、ネットワークの深さとキュービット数によって増大するが、基本的にはデータ符号化機構によって拘束される。
論文参考訳（メタデータ） (2023-11-10T14:43:24Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Fluctuation based interpretable analysis scheme for quantum many-body snapshots [0.0]
物質の微視的理解と分類は、強相関量子物理学の中心にある。ここでは、混乱学習と相関畳み込みニューラルネットワークを組み合わせることで、完全に解釈可能な位相検出を行う。我々の研究は、解釈可能な量子画像処理における新しい方向を、長距離の順序に相応しいものに開放する。
論文参考訳（メタデータ） (2023-04-12T17:59:59Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。