論文の概要: A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2205.15307v1
• Date: Sat, 28 May 2022 13:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 12:24:36.506264
• Title: A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks
• Title（参考訳）: テンソル畳み込みニューラルネットワークのための統一重み初期化パラダイム
• Authors: Yu Pan, Zeyong Su, Ao Liu, Jingquan Wang, Nannan Li, Zenglin Xu
• Abstract要約: 畳み込みニューラルネットワーク(TCNN)は、モデルパラメータの削減や能力向上に力を入れている。 TCNNの探索は、重量浄化法でも妨げられる。 本稿では,Xavier と Kaiming の手法を一般化し,任意の TCNN に適用可能なユニバーサルウェイトクリーンアップパラダイムを提案する。 我々のパラダイムはTCNNのトレーニングを安定させ、より高速な収束とより良い結果をもたらす。
• 参考スコア（独自算出の注目度）: 17.71332705005499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensorial Convolutional Neural Networks (TCNNs) have attracted much research attention for their power in reducing model parameters or enhancing the generalization ability. However, exploration of TCNNs is hindered even from weight initialization methods. To be specific, general initialization methods, such as Xavier or Kaiming initialization, usually fail to generate appropriate weights for TCNNs. Meanwhile, although there are ad-hoc approaches for specific architectures (e.g., Tensor Ring Nets), they are not applicable to TCNNs with other tensor decomposition methods (e.g., CP or Tucker decomposition). To address this problem, we propose a universal weight initialization paradigm, which generalizes Xavier and Kaiming methods and can be widely applicable to arbitrary TCNNs. Specifically, we first present the Reproducing Transformation to convert the backward process in TCNNs to an equivalent convolution process. Then, based on the convolution operators in the forward and backward processes, we build a unified paradigm to control the variance of features and gradients in TCNNs. Thus, we can derive fan-in and fan-out initialization for various TCNNs. We demonstrate that our paradigm can stabilize the training of TCNNs, leading to faster convergence and better results.
• Abstract（参考訳）: Tensorial Convolutional Neural Networks (TCNN) はモデルパラメータの削減や一般化能力の向上に力を入れている。 しかし、TCNNの探索は重量初期化法でも妨げられる。 具体的に言うと、xavier や kaiming initialization のような一般的な初期化法は、通常は tcnn の適切な重み付けを生成しない。 一方、特定のアーキテクチャ(例えばテンソル環ネット)にはアドホックなアプローチがあるが、他のテンソル分解法(例えばcpやタッカー分解)とともにtcnnには適用できない。 そこで本稿では,xavier法とカイミング法を一般化し,任意のtcnnに適用可能な普遍的重み初期化パラダイムを提案する。 具体的には,tcnnの逆行プロセスを等価な畳み込みプロセスに変換するために,まず再生変換を行う。 そして,前処理と後処理の畳み込み演算子に基づいて,TCNNにおける特徴と勾配の分散を制御できる統一パラダイムを構築した。 したがって,様々なTCNNに対して,ファンインとファンアウトの初期化を導出することができる。 我々のパラダイムはTCNNのトレーニングを安定させ、より高速な収束とより良い結果をもたらすことを実証する。

関連論文リスト

• Principled Weight Initialisation for Input-Convex Neural Networks [1.949679629562811]
  入力-凸ニューラルネットワーク(ICNN)は、入力-出力マッピングにおける凸性を保証する。 中心重みを暗黙的に仮定する以前の初期化戦略は、ICNNには有効ではない。 我々は、ICNNにおける学習を効果的に促進し、より良い一般化につながることを示す。
  論文  参考訳（メタデータ） (2023-12-19T10:36:12Z)
• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks [32.87980654923361]
  Tenor Singular Value Decomposition (t-SVD)はマルチチャネルデータ表現において大きな成功を収めた。 t-SVDがt-NNの学習行動に理論的にどう影響するかはまだ不明である。 本論文は、標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより、この問題に最初に答えるものである。
  論文  参考訳（メタデータ） (2023-03-01T03:05:40Z)
• Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
  近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。 このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。 この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
  論文  参考訳（メタデータ） (2022-12-28T19:39:55Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。