論文の概要: Frequency-adaptive tensor neural networks for high-dimensional multi-scale problems
- arxiv url: http://arxiv.org/abs/2508.15198v1
- Date: Thu, 21 Aug 2025 03:16:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-22 16:26:46.162564
- Title: Frequency-adaptive tensor neural networks for high-dimensional multi-scale problems
- Title(参考訳): 高次元マルチスケール問題に対する周波数適応型テンソルニューラルネットワーク
- Authors: Jizu Huang, Rukang You, Tao Zhou,
- Abstract要約: ニューラルネットワーク(TNN)は、高次元の問題を解決する上で、その優位性を実証している。
TNNは周波数原理の影響を受けており、ソリューションの高周波特性を正確に捉える能力を制限する。
本稿では、複雑なマルチスケール問題の解法におけるTNNの能力を大幅に向上させる周波数適応型TNNアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 6.338572283139395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor neural networks (TNNs) have demonstrated their superiority in solving high-dimensional problems. However, similar to conventional neural networks, TNNs are also influenced by the Frequency Principle, which limits their ability to accurately capture high-frequency features of the solution. In this work, we analyze the training dynamics of TNNs by Fourier analysis and enhance their expressivity for high-dimensional multi-scale problems by incorporating random Fourier features. Leveraging the inherent tensor structure of TNNs, we further propose a novel approach to extract frequency features of high-dimensional functions by performing the Discrete Fourier Transform to one-dimensional component functions. This strategy effectively mitigates the curse of dimensionality. Building on this idea, we propose a frequency-adaptive TNNs algorithm, which significantly improves the ability of TNNs in solving complex multi-scale problems. Extensive numerical experiments are performed to validate the effectiveness and robustness of the proposed frequency-adaptive TNNs algorithm.
- Abstract(参考訳): テンソルニューラルネットワーク(TNN)は、高次元問題の解法において、その優位性を実証している。
しかし、従来のニューラルネットワークと同様に、TNNも周波数原理の影響を受けており、ソリューションの高周波特性を正確に捉える能力を制限する。
本研究では,TNNのトレーニングダイナミクスをフーリエ解析により解析し,ランダムなフーリエ特徴を取り入れた多次元問題に対する表現性を向上させる。
さらに,TNNの固有テンソル構造を利用して,離散フーリエ変換を1次元成分関数に変換することで高次元関数の周波数特徴を抽出する手法を提案する。
この戦略は次元の呪いを効果的に緩和する。
このアイデアに基づいて、複雑なマルチスケール問題の解法におけるTNNの能力を大幅に向上させる周波数適応型TNNアルゴリズムを提案する。
提案した周波数適応型TNNアルゴリズムの有効性とロバスト性を検証するために,大規模な数値実験を行った。
関連論文リスト
- MNT-TNN: Spatiotemporal Traffic Data Imputation via Compact Multimode Nonlinear Transform-based Tensor Nuclear Norm [49.15782245370261]
ランダムまたは非ランダムな欠落データの計算は、インテリジェントトランスポーテーションシステム(ITS)にとって重要な応用である
マルチモード変換核ノルム家族(ATTNN)の新たな計算法を提案する。
提案したMNT-TNNとATTNNは、最先端の計算手法と比較してベンチマークを上回ります。
論文 参考訳(メタデータ) (2025-03-29T02:58:31Z) - Fourier Multi-Component and Multi-Layer Neural Networks: Unlocking High-Frequency Potential [9.699640804685629]
本稿では,FMMNN(Fourier Multi-Component and Multi-Layer Neural Network)を紹介する。
我々は、FMMNNが高周波成分のモデリングに非常に効果的で柔軟なことを実証した。
また、FMMNNの最適化状況を分析し、標準の完全連結ニューラルネットワークよりもずっと好都合であることを示した。
論文 参考訳(メタデータ) (2025-02-26T09:12:52Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳(メタデータ) (2024-12-05T09:41:33Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。
我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文 参考訳(メタデータ) (2022-11-26T20:24:36Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Multi-modal and frequency-weighted tensor nuclear norm for hyperspectral
image denoising [2.9993889271808807]
低ランク性は高スペクトル画像(HSI)復調作業において重要である。
マルチモーダルおよび非重み付きテンソル準最適化性能(MFWTNN)と非MFWTNNによるHSI復調タスクを提案する。
論文 参考訳(メタデータ) (2021-06-23T16:01:08Z) - Multi-scale Deep Neural Network (MscaleDNN) for Solving
Poisson-Boltzmann Equation in Complex Domains [12.09637784919702]
本稿では,周波数領域のラジアルスケーリングと,コンパクトなサポート付きアクティベーション関数を用いたマルチスケールディープニューラルネットワーク(MscaleDNN)を提案する。
その結果、MscaleDNNは複数のスケールで高速な均一収束を実現する。
論文 参考訳(メタデータ) (2020-07-22T05:28:03Z) - Graph Neural Networks for Motion Planning [108.51253840181677]
低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。
RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。
臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
論文 参考訳(メタデータ) (2020-06-11T08:19:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。