論文の概要: Efficient Finite Initialization with Partial Norms for Tensorized Neural Networks and Tensor Networks Algorithms
- arxiv url: http://arxiv.org/abs/2309.06577v4
- Date: Fri, 04 Jul 2025 18:26:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 22:02:54.945345
- Title: Efficient Finite Initialization with Partial Norms for Tensorized Neural Networks and Tensor Networks Algorithms
- Title（参考訳）: テンソル化ニューラルネットワークとテンソルネットワークアルゴリズムのための部分ノルムを用いた効率的な有限初期化
- Authors: Alejandro Mata Ali, Iñigo Perez Delgado, Marina Ristol Roura, Aitor Moreno Fdez. de Leceta,
- Abstract要約: テンソル化ニューラルネットワークと一般的なテンソルネットワークアルゴリズムの2つの層を初期化するアルゴリズムを提案する。
この方法の中核はテンソルネットワークのノルムワークを反復的に使用することで、発散あるいはゼロノルムにつながるノルムの有限値によって正規化する。
また, Matrix Product State/Tensor Train (MPS/TT) 層とMatrix Product Operator/Tensor Train Matrix (MPO/TT-M) 層にも適用した。
- 参考スコア（独自算出の注目度）: 41.94295877935867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present two algorithms to initialize layers of tensorized neural networks and general tensor network algorithms using partial computations of their Frobenius norms and lineal entrywise norms, depending on the type of tensor network involved. The core of this method is the use of the norm of subnetworks of the tensor network in an iterative way, so that we normalize by the finite values of the norms that led to the divergence or zero norm. In addition, the method benefits from the reuse of intermediate calculations. We have also applied it to the Matrix Product State/Tensor Train (MPS/TT) and Matrix Product Operator/Tensor Train Matrix (MPO/TT-M) layers and have seen its scaling versus the number of nodes, bond dimension, and physical dimension. All code is publicly available.
- Abstract（参考訳）: テンソル型ニューラルネットワークの層を初期化するための2つのアルゴリズムと,それらのFrobeniusノルムと線形エントリーワイドノルムの部分計算を用いて,テンソル型ネットワークのタイプに依存する一般的なテンソル型ネットワークアルゴリズムを提案する。
この方法の中核はテンソルネットワークのサブネットのノルムを反復的に使用することで、発散あるいはゼロノルムにつながるノルムの有限値によって正規化する。
さらに、この手法は中間計算の再利用の恩恵を受ける。
また、マトリックス製品状態/テンソルトレイン(MPS/TT)およびマトリックス製品オペレータ/テンソルトレインマトリックス(MPO/TT-M)層にも適用し、ノード数、結合寸法、物理次元に対してスケーリングした。
すべてのコードは公開されている。
関連論文リスト
- Prime Factorization Equation from a Tensor Network Perspective [37.037023521034925]
本稿では,素因数分解のための厳密で明示的な方程式と,その計算アルゴリズムを提案する。
提案手法は,従来のテンソルネットワークによる最適化問題に対処するMeLoCoToNアプローチに基づいている。
論文 参考訳（メタデータ） (2025-07-29T10:38:51Z) - BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。
主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。
これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
論文 参考訳（メタデータ） (2024-11-18T22:18:34Z) - Old Optimizer, New Norm: An Anthology [3.471637998699967]
それぞれの手法は、凸性の仮定を伴わない正方形の一階法として理解することができると論じる。
この観察を一般化することにより、トレーニングアルゴリズムのための新しいデザインスペースをグラフ化する。
ニューラルネットワークを慎重に成熟させるというこのアイデアが、より安定し、スケーラブルで、実際に高速なトレーニングにつながることを期待しています。
論文 参考訳（メタデータ） (2024-09-30T14:26:12Z) - Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。
本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。
本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2024-03-15T12:00:37Z) - Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。
また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
論文 参考訳（メタデータ） (2024-01-31T23:48:48Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。
提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文 参考訳（メタデータ） (2022-02-08T20:01:48Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。
提案アルゴリズムは、異なる基底分解を処理できる。
この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文 参考訳（メタデータ） (2021-06-25T10:26:48Z) - Preprint: Norm Loss: An efficient yet effective regularization method
for deep neural networks [7.214681039134488]
斜め多様体に基づく重み付き軟規則化法を提案する。
本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
論文 参考訳（メタデータ） (2021-03-11T10:24:49Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Pooling Methods in Deep Neural Networks, a Review [6.1678491628787455]
プーリングレイヤは、前のレイヤから来るフィーチャーマップのダウンサンプリングを実行する重要なレイヤである。
本稿では,有名な,有用なプーリング手法について概説する。
論文 参考訳（メタデータ） (2020-09-16T06:11:40Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。