論文の概要: Compact Circulant Layers with Spectral Priors
- arxiv url: http://arxiv.org/abs/2602.21965v1
- Date: Wed, 25 Feb 2026 14:48:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.871442
- Title: Compact Circulant Layers with Spectral Priors
- Title（参考訳）: スペクトル前駆体を用いた小型循環層
- Authors: Joseph Margaryan, Thomas Hamelryck,
- Abstract要約: 医療、ロボティクス、自律システムなどの分野における重要な応用には、コンパクトな(メモリ効率のよい)ニューラルネットワークが必要である。
本研究では, コンパクトなスペクトル循環器およびブロック循環器(BCCB)層について検討した。
- 参考スコア（独自算出の注目度）: 1.5755923640031846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Critical applications in areas such as medicine, robotics and autonomous systems require compact (i.e., memory efficient), uncertainty-aware neural networks suitable for edge and other resource-constrained deployments. We study compact spectral circulant and block-circulant-with-circulant-blocks (BCCB) layers: FFT-diagonalizable circular convolutions whose weights live directly in the real FFT (RFFT) half (1D) or half-plane (2D). Parameterizing filters in the frequency domain lets us impose simple spectral structure, perform structured variational inference in a low-dimensional weight space, and calculate exact layer spectral norms, enabling inexpensive global Lipschitz bounds and margin-based robustness diagnostics. By placing independent complex Gaussians on the Hermitian support we obtain a discrete instance of the spectral representation of stationary kernels, inducing an exact stationary Gaussian-process prior over filters on the discrete circle/torus. We exploit this to define a practical spectral prior and a Hermitian-aware low-rank-plus-diagonal variational posterior in real coordinates. Empirically, spectral circulant/BCCB layers are effective compact building blocks in both (variational) Bayesian and point estimate regimes: compact Bayesian neural networks on MNIST->Fashion-MNIST, variational heads on frozen CIFAR-10 features, and deterministic ViT projections on CIFAR-10/Tiny ImageNet; spectral layers match strong baselines while using substantially fewer parameters and with tighter Lipschitz certificates.
- Abstract（参考訳）: 医療、ロボティクス、自律システムなどの分野におけるクリティカルな応用には、コンパクト(メモリ効率)で、エッジや他のリソースに制約のあるデプロイメントに適した不確実性を認識したニューラルネットワークが必要である。
実FFT(RFFT)ハーフ (1D) またはハーフプレーン (2D) で直接生活するFFT対角化可能な円形の畳み込みについて, 小型のスペクトル循環ブロックおよびブロック循環ブロック (BCCB) 層について検討した。
周波数領域におけるパラメータ化フィルタは、単純なスペクトル構造を課し、低次元の重み空間における構造的変動推論を行い、正確な層スペクトルノルムを計算し、安価なグローバルリプシッツ境界とマージンベースロバストネス診断を可能にする。
独立複素ガウスをエルミートサポートに配置することにより、定常核のスペクトル表現の離散例を得ることができ、離散円/トーラス上のフィルターよりも先に、正確な定常ガウス過程を誘導する。
これを利用して、実座標における実スペクトル先行とエルミート対応低ランク+対角変動後部を定義する。
MNIST->Fashion-MNIST上のコンパクトベイズニューラルネットワーク、凍結したCIFAR-10の特徴の変動ヘッド、CIFAR-10/Tiny ImageNet上の決定論的ViTプロジェクション。
関連論文リスト
- Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳（メタデータ） (2026-02-07T20:00:49Z) - Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳（メタデータ） (2026-02-03T23:38:05Z) - Amortized Spectral Kernel Discovery via Prior-Data Fitted Network [0.0]
本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。
我々は、PFNラプタントを明示的なスペクトル密度推定と対応する定常カーネルにマッピングするデコーダアーキテクチャを提案する。
これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。
論文 参考訳（メタデータ） (2026-01-29T13:51:26Z) - Manifold limit for the training of shallow graph convolutional neural networks [1.2744523252873352]
本研究では,浅部グラフ畳み込みニューラルネットワーク(GCNN)のサンプル点雲近傍グラフにおけるトレーニングの整合性について検討した。
我々は、正規化された経験的リスク最小化関数の$$-convergenceと、それらの大域的最小化関数の対応する収束を証明した。
論文 参考訳（メタデータ） (2026-01-09T18:59:20Z) - Spectral Embedding via Chebyshev Bases for Robust DeepONet Approximation [0.6752538702870791]
SpectralEmbeded DeepONet (SEDNet) は、トランクが座標入力ではなく、固定されたチェビシェフスペクトル辞書によって駆動される新しい変種である。
SEDNetは一貫して、DeepONet、FEDONet、SEDONetの間で最も低い相対的なL2エラーを達成しており、ベースラインのDeepONetよりも平均30～40%改善されている。
論文 参考訳（メタデータ） (2025-12-09T22:26:29Z) - Spectral Graph Clustering under Differential Privacy: Balancing Privacy, Accuracy, and Efficiency [53.98433419539793]
エッジ差分プライバシー(DP)下におけるスペクトルグラフクラスタリングの問題点について検討する。
具体的には, (i) エッジフリップによるグラフ摂動と, エッジプライバシを強制する隣接行列シャッフルを併用したグラフ摂動, (ii) 次元と複雑性の複雑さを低減するために低次元空間における加法的ガウス雑音を伴うプライベートグラフプロジェクション, (iii) 収束性を維持しながらエッジDPを確保するために反復的にガウス雑音を分散するノイズの多いパワーイテレーション手法である。
論文 参考訳（メタデータ） (2025-10-08T15:30:27Z) - Sheaf Graph Neural Networks via PAC-Bayes Spectral Optimization [13.021238902084647]
グラフニューラルネットワーク(GNN)のオーバースムース化は、異なるノード機能で崩壊を引き起こす。
SGPC (Sheaf GNNs with PAC-Bayes) は,セルラーシェーフメッセージパッシングと複数のメカニズムを組み合わせた統一アーキテクチャである。
9つのホモ親和性およびヘテロ親和性ベンチマークの実験により、SGPCは最先端スペクトルおよび層ベースGNNよりも優れた性能を示した。
論文 参考訳（メタデータ） (2025-08-01T06:39:28Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳（メタデータ） (2025-06-27T11:23:10Z) - LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:20:14Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳（メタデータ） (2022-02-13T07:12:02Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。