論文の概要: Principal Components for Neural Network Initialization

• arxiv url: http://arxiv.org/abs/2501.19114v1
• Date: Fri, 31 Jan 2025 13:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:05.933283
• Title: Principal Components for Neural Network Initialization
• Title（参考訳）: ニューラルネットワーク初期化の主要要素
• Authors: Nhan Phan, Thu Nguyen, Pål Halvorsen, Michael A. Riegler,
• Abstract要約: 主成分ベースの初期化(PCsInit)は、PCAをニューラルネットワークの第1層に組み込む戦略である。 これらの戦略を用いた説明は、ニューラルネットワークと同様に直接的で直接的なものである。
• 参考スコア（独自算出の注目度）: 4.387724419358174
• License:
• Abstract: Principal Component Analysis (PCA) is a commonly used tool for dimension reduction and denoising. Therefore, it is also widely used on the data prior to training a neural network. However, this approach can complicate the explanation of explainable AI (XAI) methods for the decision of the model. In this work, we analyze the potential issues with this approach and propose Principal Components-based Initialization (PCsInit), a strategy to incorporate PCA into the first layer of a neural network via initialization of the first layer in the network with the principal components, and its two variants PCsInit-Act and PCsInit-Sub. Explanations using these strategies are as direct and straightforward as for neural networks and are simpler than using PCA prior to training a neural network on the principal components. Moreover, as will be illustrated in the experiments, such training strategies can also allow further improvement of training via backpropagation.
• Abstract（参考訳）: 主成分分析(英: principal Component Analysis、PCA)は、次元の減少と認知のための一般的なツールである。 そのため、ニューラルネットワークのトレーニングに先立って、データにも広く使用されている。 しかし、このアプローチは、モデルを決定するための説明可能なAI(XAI)メソッドの説明を複雑にすることができる。 本研究は、本手法の潜在的な問題を分析し、PCAをニューラルネットワークの第1層に組み込む戦略であるPCsInit-ActとPCsInit-Subの2つの変種について、ネットワーク内の第1層を主成分で初期化する手法であるPCsInit(PCsInit)を提案する。 これらの戦略を用いた説明は、ニューラルネットワークと同様に直接的かつ単純であり、主要コンポーネントでニューラルネットワークをトレーニングする前にPCAを使用するよりも簡単である。 さらに、実験で示されるように、そのようなトレーニング戦略は、バックプロパゲーションによるトレーニングのさらなる改善を可能にする。

関連論文リスト

• On the Principles of ReLU Networks with One Hidden Layer [0.0]
  バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。 理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
  論文  参考訳（メタデータ） (2024-11-11T05:51:11Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning on Arbitrary Graph Topologies via Predictive Coding [38.761663028090204]
  任意のグラフトポロジで推論と学習を行うために,予測符号化がどのように使用できるかを示す。 我々は、PCグラフと呼ばれるこの定式化が、同じネットワークで異なるタスクを柔軟に実行するためにどのように使用できるかを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-31T12:43:22Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• A Weight Initialization Based on the Linear Product Structure for Neural Networks [0.0]
  非線形的な観点からニューラルネットワークを研究し、ニューラルネットワークの線形積構造(LPS)に基づく新しいウェイト初期化戦略を提案する。 提案手法は, 数値代数学の理論を用いて, すべての局所最小値を求めることを保証することにより, 活性化関数の近似から導かれる。
  論文  参考訳（メタデータ） (2021-09-01T00:18:59Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Model-Based Machine Learning for Communications [110.47840878388453]
  モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。 通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
  論文  参考訳（メタデータ） (2021-01-12T19:55:34Z)
• Training Convolutional Neural Networks With Hebbian Principal Component Analysis [10.026753669198108]
  ヘブリアン学習は、ニューラルネットワークの下層または高層を訓練するために使用することができる。 私たちは、HWTA(Hebbian Winner Takes All)戦略の代わりに、非線形のHebbianプリンシパルコンポーネント分析(HPCA)学習ルールを使用します。 特にHPCAルールは、CIFAR-10イメージデータセットから関連する特徴を抽出するために、畳み込みニューラルネットワークのトレーニングに使用される。
  論文  参考訳（メタデータ） (2020-12-22T18:17:46Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。