論文の概要: Accelerated Learning of High Dimensional Functions with a Tensor-Featured Training Network

• arxiv url: http://arxiv.org/abs/2608.10351v1
• Date: Tue, 11 Aug 2026 01:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.857926
• Title: Accelerated Learning of High Dimensional Functions with a Tensor-Featured Training Network
• Title（参考訳）: テンソル機能学習ネットワークを用いた高次元関数の高速化学習
• Abstract要約: ディープニューラルネットワーク(DNN)を用いた高次元関数学習の高速化手法を提案する。 DNNのパラメータは、入力-機能基底を固定したまま、標準勾配降下により最適化される。 我々は高次元関数を分解するストレージコストを少なくとも8桁の規模で削減することができる。
• 参考スコア（独自算出の注目度）: 6.46147328920679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we present a method to accelerate the optimization of learning high dimensional functions using deep neural network (DNN). This optimization procedure introduces contextual features into the first layer of a DNN. The parameters of DNN are optimized via standard gradient descent while keeping the input-feature basis fixed. After optimization of the DNN parameters, the feature layer is provided a chance to update and change before DNN optimization resumes. The feature layer has two types of functions: those that can be evaluated quickly in a matrix-free way on the domain (i.e. rank-1 features) and more complex features that must first be decomposed using tensor network (TN) decomposition strategies (tensor features). In particular, we study the effect of adding features which distill pretrained DNN into TNs using a discretize and decompose strategy. To efficiently decompose high-dimensional functions constructed from discretized DNN, we leverage a randomized tensor decomposition strategy. Using randomization, we are able to reduce the storage cost of decomposing high dimensional functions by at least 8 orders of magnitude. Using this approach, we are able to efficiently train models between 5 and 40 dimensions.
• Abstract（参考訳）: 本研究では,ディープニューラルネットワーク(DNN)を用いた高次元関数の学習を高速化する手法を提案する。 この最適化手順は、DNNの第1層にコンテキスト特徴を導入する。 DNNのパラメータは、入力-機能基底を固定したまま、標準勾配降下により最適化される。 DNNパラメータの最適化の後、DNN最適化が再開する前に機能レイヤを更新および変更する機会が提供される。 特徴層は、領域上で行列のない方法で迅速に評価できる機能(階数1の特徴)と、テンソルネットワーク(TN)分解戦略(テンソル特徴)を用いて最初に分解しなければならないより複雑な機能(テンソル特徴)の2種類がある。 特に, 離散化・分解戦略を用いて, プレトレーニング済みDNNをTNに蒸留する機能の追加効果について検討した。 離散化DNNから構築した高次元関数を効率的に分解するために、ランダム化テンソル分解戦略を利用する。 ランダム化を用いることで、高次元関数を分解するストレージコストを少なくとも8桁削減することができる。 このアプローチを用いることで、5次元から40次元のモデルを効率的にトレーニングすることが可能になります。

関連論文リスト

• Optimization of randomized neural networks for transfer operator approximation [0.5027571997864707]
  RaNNDyは、転送演算子のデータ駆動近似のためのランダム化されたニューラルネットワークアーキテクチャである。 ネットワークの隠されたレイヤの重みとバイアスはランダムに固定され、出力層のみが訓練される。 これは、完全に最適化されたニューラルネットワーク、特に出力層に対するクローズドフォームソリューションに対して、いくつかの利点がある。
  論文  参考訳（メタデータ） (2026-05-22T14:47:17Z)
• Disentangling Rich Dynamics from Feature Learning: A Framework for Independent Measurements [5.369150515904139]
  本稿では,(1)パフォーマンスから独立してリッチなレシエーションを定量化する尺度,(2)可視化のための解釈可能な特徴指標を紹介する。 CIFAR-10/100におけるVGG16とResNet18のバッチ正規化とトレーニングセットサイズが遅延/リッチダイナミクスに与える影響を明らかにする。
  論文  参考訳（メタデータ） (2024-10-05T18:53:48Z)
• Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training [23.536294640280087]
  本稿では,メモリ効率向上のための要素活性化関数として,ネストフォワード自動微分(フォワードAD)を提案する。 評価の結果,Nested Forward-ADはメモリフットプリントをベースラインモデルよりも1.97倍削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-22T04:48:48Z)
• 0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
  ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである 正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
  論文  参考訳（メタデータ） (2022-06-19T11:12:30Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• CDiNN -Convex Difference Neural Networks [0.8122270502556374]
  reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。 ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
  論文  参考訳（メタデータ） (2021-03-31T17:31:16Z)
• Delay Differential Neural Networks [0.2538209532048866]
  遅延微分方程式 (DDE) に触発された新しいモデル, 遅延微分ニューラルネットワーク (DDNN) を提案する。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。
  論文  参考訳（メタデータ） (2020-12-12T12:20:54Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。