論文の概要: CNet: A Complex-Valued Deep Learning Framework with Wirtinger Autodifferentiation and FFT--Hadamard Convolution
- arxiv url: http://arxiv.org/abs/2610.08592v2
- Date: Wed, 07 Oct 2026 07:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.507976
- Title: CNet: A Complex-Valued Deep Learning Framework with Wirtinger Autodifferentiation and FFT--Hadamard Convolution
- Title(参考訳): CNet: Wirtinger AutodifferentiationとFFT-Adamard畳み込みを備えた複合価値ディープラーニングフレームワーク
- Abstract要約: CNetは、複雑な数値ニューラルネットワーク(CVNN)を構築するためのC++/CUDAフレームワークである
複雑なレイヤのライブラリは、conv(x,k) = IFFT(FFT(x.FFT(k)) を信号処理プリミティブで学習できるようにする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: CNet is a C++/CUDA framework for building deep complex-valued neural networks (CVNNs) and optimizing complex functions by gradient descent with Wirtinger derivatives. Complex models are underexplored yet natural where data is intrinsically complex -- RF/IQ communications, MRI k-space, radar/SAR, audio spectra -- and phase carries information real networks discard. CNet is physics-native: a network is a cascade of complex (often unitary) operations on an amplitude vector, and classification is a Born-rule measurement p_k = |z_k|^2/||z||^2 rather than a softmax over real logits. Its library of complex layers makes conv(x,k) = IFFT(FFT(x).FFT(k)) learnable via signal-processing primitives -- spectral-padding local kernels (Pad), the inverse DFT, a magnitude nonlinearity |z|^2 (CModulus2), holomorphic powers z^M (CPower), and mean pooling (MeanPool) -- with GPU kernels for every layer, a GPU true-Adam optimizer, and a reduced-memory inference mode. Three studies. (1) A fully complex FNet-style causal language model, built on a new O(N log N) causal Fourier mixer, matches a param-matched real-valued causal FNet on tiny-shakespeare in under half the steps. We introduce Born-rule attention: a content-based causal mixer whose weights are quantum-measurement probabilities |<Q_k,K_j>|^2 of one token against another -- the first attention mechanism built on the Born rule. With rotary position embeddings and per-token complex normalization, a fully complex Born-rule model reaches 1.52 nats/char on tiny-shakespeare, matching softmax attention and beating the Fourier mixer by 0.23. (2,3) Two bottleneck analyses -- radio-modulation classification (RML2016.10a) and the Fourier phase problem of coherent-diffraction imaging -- isolate where CVNNs need new operators. The complex machinery learns the correct structure; open problems are concrete and operator-level. Code: https://github.com/crasmarum/CNet
- Abstract(参考訳): CNetは、深層複素数値ニューラルネットワーク(CVNN)を構築するためのC++/CUDAフレームワークである。
データが本質的に複雑である – RF/IQ通信、MRIk空間、レーダー/SAR、オーディオスペクトルなど – 複雑なモデルはまだ探索されていないが、フェーズは実際のネットワークを破棄する情報を運ぶ。
ネットワークは振幅ベクトル上の複素(しばしばユニタリ)演算のカスケードであり、分類はボルンルール測度 p_k = |z_k|^2/||z||^2 である。
複素層のライブラリは conv(x,k) = IFFT(FFT(x) となる。
FFT(k))は、信号処理プリミティブ -- スペクトルパディングローカルカーネル(Pad)、逆DFT、等級非線形性 |z|^2 (CModulus2)、正則パワー z^M (CPower)、平均プーリング (MeanPool) -- を通じて学習可能で、各レイヤのGPUカーネル、GPU真のアダムオプティマイザ、縮小メモリ推論モードがある。
3つの研究。
1)新しいO(N log N)因果FNetミキサ上に構築されたFNet型因果FNetの完全複雑な因果FNetモデル。
一方のトークンの重みが量子測度確率 |<Q_k,K_j>|^2 であるコンテンツベースの因果混合器であるBorn-rule attentionは、Bornルールに基づいて構築された最初の注意機構である。
回転位置埋め込みと複体正規化により、完全に複雑なボルンルールモデルが小さなシェークスピアで1.52ナッツ/charに達し、ソフトマックスの注意を合わせ、フーリエミキサーを0.23で打ち負かした。
(2,3)
ラジオ変調分類(RML2016.10a)とコヒーレント回折イメージングのフーリエ位相問題という2つのボトルネック分析は、CVNNが新しい演算子を必要とする場所を分離する。
複雑な機械は正しい構造を学習する。
コード:https://github.com/crasmarum/CNet
関連論文リスト
- Fourier Feature Pyramids for Physics-Informed Neural Networks [47.75068288153803]
偏微分方程式(PDE)を解くための改良されたニューラルネットワークアーキテクチャを提案する。
Bandlimited Embedding with Interpolated Grid Network (特集:Bandlimited Embedding with Interpolated Grid Network)
我々は,PDEベンチマークにおいて,最先端のPINN手法よりも少ないパラメータを用いて,ベニグレットがはるかに精度の高い解を見つけることを示した。
論文 参考訳(メタデータ) (2026-05-22T23:12:56Z) - When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains [0.0]
msatは複素幾何学問題に対する最先端の一般化を実現する。
textbfMulti-Scale Attention Transformer (msat)は、ソリューション履歴をトークンシーケンスとしてエンコードし、エンドツーエンドにトレーニングする。
論文 参考訳(メタデータ) (2026-05-08T15:23:13Z) - When Bayesian Tensor Completion Meets Multioutput Gaussian Processes: Functional Universality and Rank Learning [53.17227599983122]
関数テンソル分解は実数値インデックスを用いて多次元データを解析することができる。
そこで本研究では,Right-Revealing Functional Low-rank tensor completion (RR-F)法を提案する。
連続多次元信号に対するモデルの普遍近似特性を確立する。
論文 参考訳(メタデータ) (2025-12-25T03:15:52Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳(メタデータ) (2025-11-16T20:14:28Z) - F-INR: Functional Tensor Decomposition for Implicit Neural Representations [7.183424522250937]
Implicit Representation (INR) は、ニューラルネットワークを用いて離散信号を連続的に微分可能な関数に符号化する強力なツールとして登場した。
機能的分解によりINR学習を再構築し,高次元タスクを軽量な軸特化サブネットワークに分割するフレームワークF-INRを提案する。
論文 参考訳(メタデータ) (2025-03-27T13:51:31Z) - Factorizers for Distributed Sparse Block Codes [45.29870215671697]
分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。
我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。
CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
論文 参考訳(メタデータ) (2023-03-24T12:31:48Z) - Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder [20.544993155126967]
ピーク対平均電力比(mathsfPAPR$)削減と波形設計のための新しい枠組みを提案する。
畳み込みオートコーダ(mathsfCAE$)アーキテクチャが提示される。
1つのトレーニングされたモデルが、幅広いSNRレベルにわたって、$mathsfPAPR$の削減、スペクトル設計、および$mathsfMIMO$の検出のタスクをカバーしていることを示す。
論文 参考訳(メタデータ) (2023-01-11T11:35:10Z) - SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳(メタデータ) (2022-09-13T12:12:19Z) - Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
論文 参考訳(メタデータ) (2022-07-29T21:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。