論文の概要: Machine learning in spectral domain
- arxiv url: http://arxiv.org/abs/2005.14436v2
- Date: Thu, 22 Oct 2020 16:13:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:04:04.332783
- Title: Machine learning in spectral domain
- Title（参考訳）: スペクトル領域における機械学習
- Authors: Lorenzo Giambagli, Lorenzo Buffoni, Timoteo Carletti, Walter
Nocentini, Duccio Fanelli
- Abstract要約: 固有値のチューニングは、実際には、ニューラルネットワークのグローバルなトレーニングの実行に対応しています。
固有値に結合したスペクトル学習は、ディープニューラルネットワークの事前トレーニングにも使用できる。
- 参考スコア（独自算出の注目度）: 4.724825031148412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are usually trained in the space of the nodes, by
adjusting the weights of existing links via suitable optimization protocols. We
here propose a radically new approach which anchors the learning process to
reciprocal space. Specifically, the training acts on the spectral domain and
seeks to modify the eigenvalues and eigenvectors of transfer operators in
direct space. The proposed method is ductile and can be tailored to return
either linear or non-linear classifiers. Adjusting the eigenvalues, when
freezing the eigenvectors entries, yields performances which are superior to
those attained with standard methods {\it restricted} to a operate with an
identical number of free parameters. Tuning the eigenvalues correspond in fact
to performing a global training of the neural network, a procedure which
promotes (resp. inhibits) collective modes on which an effective information
processing relies. This is at variance with the usual approach to learning
which implements instead a local modulation of the weights associated to
pairwise links. Interestingly, spectral learning limited to the eigenvalues
returns a distribution of the predicted weights which is close to that obtained
when training the neural network in direct space, with no restrictions on the
parameters to be tuned. Based on the above, it is surmised that spectral
learning bound to the eigenvalues could be also employed for pre-training of
deep neural networks, in conjunction with conventional machine-learning
schemes. Changing the eigenvectors to a different non-orthogonal basis alters
the topology of the network in direct space and thus allows to export the
spectral learning strategy to other frameworks, as e.g. reservoir computing.
- Abstract（参考訳）: ディープニューラルネットワークは通常、適切な最適化プロトコルを介して既存のリンクの重みを調整することで、ノードの空間でトレーニングされる。
本稿では,学習過程を相互空間に固定する,根本的に新しいアプローチを提案する。
具体的には、トレーニングはスペクトル領域に作用し、直接空間における移動作用素の固有値と固有ベクトルを修正しようとする。
提案手法はダクタブルであり、線形あるいは非線形の分類器を返すように調整できる。
固有値の調整は、固有ベクトルエントリを凍結するときに、標準メソッド {\it restricted} で得られるものよりも優れたパフォーマンスを、同じ数の自由パラメータで操作させる。
固有値のチューニングは、実際にニューラルネットワークのグローバルなトレーニングの実行に対応しており、効果的な情報処理が依存する集合モードの促進(参照阻害)を行う手順である。
これは、対リンクに関連する重みの局所的な変調を実装する学習に対する通常のアプローチと異なる。
興味深いことに、固有値に制限されたスペクトル学習は、ニューラルネットワークを直接空間でトレーニングする際に得られる予測された重みの分布を、チューニングすべきパラメータに制限なく返す。
このことから, 固有値に結合したスペクトル学習は, 従来の機械学習手法と併用して, 深層ニューラルネットワークの事前学習にも応用できると考えられた。
固有ベクトルを異なる非直交基底に変えることで、直接空間におけるネットワークのトポロジーが変化し、例えば貯水池計算のような他のフレームワークにスペクトル学習戦略をエクスポートすることができる。
関連論文リスト
- Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。
入力の統計的性質から一般化特性を導出する。
データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-31T14:11:32Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Training Scale-Invariant Neural Networks on the Sphere Can Happen in
Three Regimes [3.808063547958558]
本研究では、固定ELRを用いて、球面上でのスケール不変ニューラルネットワークのトレーニング特性について検討する。
本研究では, 収束, カオス平衡, 分散という, ELR の値に依存する3つの訓練条件を見いだす。
論文 参考訳（メタデータ） (2022-09-08T10:30:05Z) - Convolutional Dictionary Learning by End-To-End Training of Iterative
Neural Networks [3.6280929178575994]
本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。
提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-09T12:15:38Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳（メタデータ） (2021-09-30T12:56:57Z) - On the training of sparse and dense deep neural networks: less
parameters, same performance [0.0]
本稿では,2021年に発表されたスペクトル学習手法の変種を提案する。
固有値は検証可能なノブとして機能し、(i)入力ノードの寄与を増強したり、あるいは沈黙したりするために自由に調整することができる。
それぞれのスペクトルパラメータはノード間重みの集合全体を反映しており、この特性を効果的に活用し、見事な分類能力を持つスパースネットワークを創出する。
論文 参考訳（メタデータ） (2021-06-17T14:54:23Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z) - Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。
目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。
この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
論文 参考訳（メタデータ） (2020-02-26T08:59:40Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳（メタデータ） (2020-02-19T16:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。