論文の概要: LFA applied to CNNs: Efficient Singular Value Decomposition of Convolutional Mappings by Local Fourier Analysis

• arxiv url: http://arxiv.org/abs/2506.05617v1
• Date: Thu, 05 Jun 2025 22:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.252932
• Title: LFA applied to CNNs: Efficient Singular Value Decomposition of Convolutional Mappings by Local Fourier Analysis
• Title（参考訳）: CNNに適用されたLFA:局所フーリエ解析による畳み込み写像の効率的な特異値分解
• Authors: Antonia van Betteray, Matthias Rottmann, Karsten Kahl,
• Abstract要約: 興味深いスペクトル特性を符号化した 畳み込み写像の特異値。 特異値の計算は典型的には資源集約である。 本稿では,局所フーリエ解析に基づく複雑性O(N)のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 4.69726714177332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The singular values of convolutional mappings encode interesting spectral properties, which can be used, e.g., to improve generalization and robustness of convolutional neural networks as well as to facilitate model compression. However, the computation of singular values is typically very resource-intensive. The naive approach involves unrolling the convolutional mapping along the input and channel dimensions into a large and sparse two-dimensional matrix, making the exact calculation of all singular values infeasible due to hardware limitations. In particular, this is true for matrices that represent convolutional mappings with large inputs and a high number of channels. Existing efficient methods leverage the Fast Fourier transformation (FFT) to transform convolutional mappings into the frequency domain, enabling the computation of singular values for matrices representing convolutions with larger input and channel dimensions. For a constant number of channels in a given convolution, an FFT can compute N singular values in O(N log N) complexity. In this work, we propose an approach of complexity O(N) based on local Fourier analysis, which additionally exploits the shift invariance of convolutional operators. We provide a theoretical analysis of our algorithm's runtime and validate its efficiency through numerical experiments. Our results demonstrate that our proposed method is scalable and offers a practical solution to calculate the entire set of singular values - along with the corresponding singular vectors if needed - for high-dimensional convolutional mappings.
• Abstract（参考訳）: 畳み込み写像の特異値は興味深いスペクトル特性を符号化し、例えば、畳み込みニューラルネットワークの一般化と堅牢性を改善し、モデル圧縮を容易にする。 しかし、特異値の計算は典型的には資源集約である。 ナイーブなアプローチでは、入力とチャネルの次元に沿って畳み込み写像を大きくスパースな2次元行列に展開し、ハードウェアの制限により全ての特異値の正確な計算が不可能となる。 特に、これは大きな入力と多数のチャネルを持つ畳み込み写像を表す行列に当てはまる。 既存の効率的な方法は、高速フーリエ変換(FFT)を利用して畳み込み写像を周波数領域に変換し、より大きな入力とチャネル次元を持つ畳み込みを表す行列の特異値の計算を可能にする。 与えられた畳み込みにおける一定の数のチャネルに対して、FFT は O(N log N) の複雑性において N 個の特異値を計算することができる。 本研究では、局所フーリエ解析に基づく複雑性O(N)のアプローチを提案し、畳み込み作用素のシフト不変性を活用する。 本稿では,アルゴリズムのランタイムに関する理論的解析を行い,その効率性について数値実験により検証する。 提案手法はスケーラブルであり,高次元畳み込み写像に対する特異値と対応する特異ベクトルの集合全体を計算するための実用的な解を提供する。

関連論文リスト

• Smooth Integer Encoding via Integral Balance [0.0]
  本研究では,スムーズな実数値関数を用いた符号化手法を提案する。 我々のアプローチは、滑らかな関数 f_N(t) の累積バランスを通して自然数全体の数 N を符号化する。 全積分 I(N) は、N が無限大の傾向にあるので 0 に収束し、整数は、近似の極小点として回復することができる。
  論文  参考訳（メタデータ） (2025-04-28T20:23:53Z)
• Preconditioned Additive Gaussian Processes with Fourier Acceleration [2.292881746604941]
  本稿では,カーネル行列とその導関数の乗算において,ほぼ線形な複雑性を実現するための行列フリー手法を提案する。 高次元問題に対処するために,加法的カーネルアプローチを提案する。 各サブカーネルは低次の特徴相互作用をキャプチャし、NFFT法の効率的な適用を可能にする。
  論文  参考訳（メタデータ） (2025-04-01T07:14:06Z)
• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Beyond Regular Grids: Fourier-Based Neural Operators on Arbitrary Domains [13.56018270837999]
  本稿では,ニューラルネットワークを任意の領域に拡張する簡単な手法を提案する。 このような直接スペクトル評価の効率的な実装*は、既存のニューラル演算子モデルと結合する。 提案手法により,ニューラルネットワークを任意の点分布に拡張し,ベースライン上でのトレーニング速度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T09:01:20Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Nonparametric Factor Trajectory Learning for Dynamic Tensor Decomposition [20.55025648415664]
  動的テンソル分解(NONFAT)のためのNON FActor Trajectory Learningを提案する。 我々は第2レベルのGPを用いてエントリ値をサンプリングし、エンティティ間の時間的関係をキャプチャする。 実世界のいくつかの応用において,本手法の利点を示した。
  論文  参考訳（メタデータ） (2022-07-06T05:33:00Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。