論文の概要: Accelerating Inference of Networks in the Frequency Domain

• arxiv url: http://arxiv.org/abs/2410.04342v1
• Date: Sun, 6 Oct 2024 03:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 08:20:17.246605
• Title: Accelerating Inference of Networks in the Frequency Domain
• Title（参考訳）: 周波数領域におけるネットワークの高速化
• Authors: Chenqiu Zhao, Guanfang Dong, Anup Basu,
• Abstract要約: 本稿では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。 特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。 提案手法は,高速比(100倍以上)の場合の精度を著しく向上させる。
• 参考スコア（独自算出の注目度）: 8.125023712173686
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It has been demonstrated that networks' parameters can be significantly reduced in the frequency domain with a very small decrease in accuracy. However, given the cost of frequency transforms, the computational complexity is not significantly decreased. In this work, we propose performing network inference in the frequency domain to speed up networks whose frequency parameters are sparse. In particular, we propose a frequency inference chain that is dual to the network inference in the spatial domain. In order to handle the non-linear layers, we make a compromise to apply non-linear operations on frequency data directly, which works effectively. Enabled by the frequency inference chain and the strategy for non-linear layers, the proposed approach completes the entire inference in the frequency domain. Unlike previous approaches which require extra frequency or inverse transforms for all layers, the proposed approach only needs the frequency transform and its inverse once at the beginning and once at the end of a network. Comparisons with state-of-the-art methods demonstrate that the proposed approach significantly improves accuracy in the case of a high speedup ratio (over 100x). The source code is available at \url{https://github.com/guanfangdong/FreqNet-Infer}.
• Abstract（参考訳）: 周波数領域において、ネットワークのパラメータが極めて少ない精度で大幅に低減できることが示されている。 しかし、周波数変換のコストを考えると、計算複雑性は著しく低下しない。 本研究では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。 特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。 非線形層を扱うために、周波数データに直接非線形演算を適用し、効果的に動作するように妥協する。 周波数推論チェーンと非線形層に対する戦略によって実現され、提案手法は周波数領域の全推論を完了させる。 全ての層に対して余分な周波数変換や逆変換を必要とする従来の手法とは異なり、提案手法はネットワークの始点と終点に1度だけ周波数変換と逆変換を必要とする。 最先端手法との比較により,提案手法は高速比(100倍以上)の場合,精度を著しく向上することが示された。 ソースコードは \url{https://github.com/guanfangdong/FreqNet-Infer} で公開されている。

関連論文リスト

• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Understanding robustness and generalization of artificial neural networks through Fourier masks [8.94889125739046]
  近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。 トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-03-16T17:32:00Z)
• Frequency-bin entanglement from domain-engineered down-conversion [101.18253437732933]
  フィルタや共振器の共振器を用いない離散周波数ビン絡みの単一パス源を提案する。 ドメインエンジニアリングされた非線形結晶を用いて、通信波長で8モードの周波数ビン絡み合った光源を生成する。
  論文  参考訳（メタデータ） (2022-01-18T19:00:29Z)
• Dense Pruning of Pointwise Convolutions in the Frequency Domain [10.58456555092086]
  本研究では,各点層を離散コサイン変換(DCT)でラップする手法を提案する。 スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。 提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
  論文  参考訳（メタデータ） (2021-09-16T04:02:45Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Frequency Gating: Improved Convolutional Neural Networks for Speech Enhancement in the Time-Frequency Domain [37.722450363816144]
  本稿では、CNNのカーネルの乗算重みを計算するために、周波数ゲーティングと呼ばれる手法を提案する。 スキップ接続を用いたオートエンコーダニューラルネットワークの実験では、局所的および周波数的にゲーティングの両方がベースラインを上回っている。 拡張短時間客観的インテリジェンススコア(ESTOI)に基づく損失関数を導入し、標準平均二乗誤差(MSE)損失関数より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-08T22:04:00Z)
• Robust Learning with Frequency Domain Regularization [1.370633147306388]
  モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。 本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-07T07:29:20Z)
• Robust Multi-channel Speech Recognition using Frequency Aligned Network [23.397670239950187]
  我々は、堅牢な自動音声認識に周波数整列ネットワークを用いる。 周波数整列ネットワークを用いたマルチチャネル音響モデルでは,単語誤り率を最大で18%低減することを示す。
  論文  参考訳（メタデータ） (2020-02-06T21:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。