論文の概要: Rethinking FUN: Frequency-Domain Utilization Networks
- arxiv url: http://arxiv.org/abs/2012.03357v1
- Date: Sun, 6 Dec 2020 19:16:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 03:59:44.150256
- Title: Rethinking FUN: Frequency-Domain Utilization Networks
- Title（参考訳）: FUN再考 : 周波数領域利用ネットワーク
- Authors: Kfir Goldberg, Stav Shapiro, Elad Richardson, Shai Avidan
- Abstract要約: 本稿では、新しい周波数領域利用ネットワークのファミリーであるFUNを紹介する。
これらのネットワークは、その領域で直接作業することで周波数領域の固有効率を利用する。
周波数領域での動作は、アーキテクチャに明示的な変更を加えることなく、推論時に入力を動的に圧縮できることを示す。
- 参考スコア（独自算出の注目度）: 21.10493050675827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The search for efficient neural network architectures has gained much focus
in recent years, where modern architectures focus not only on accuracy but also
on inference time and model size. Here, we present FUN, a family of novel
Frequency-domain Utilization Networks. These networks utilize the inherent
efficiency of the frequency-domain by working directly in that domain,
represented with the Discrete Cosine Transform. Using modern techniques and
building blocks such as compound-scaling and inverted-residual layers we
generate a set of such networks allowing one to balance between size, latency
and accuracy while outperforming competing RGB-based models. Extensive
evaluations verifies that our networks present strong alternatives to previous
approaches. Moreover, we show that working in frequency domain allows for
dynamic compression of the input at inference time without any explicit change
to the architecture.
- Abstract（参考訳）: 近年,効率的なニューラルネットワークアーキテクチャの探索が注目されている。現代のアーキテクチャでは,精度だけでなく,推論時間やモデルサイズにも注目が集まっている。
本稿では、新しい周波数領域利用ネットワークのファミリーであるFUNを紹介する。
これらのネットワークは、離散コサイン変換で表される領域内で直接働くことで、周波数領域の固有効率を利用する。
複合スケーリングや逆レジデント層のようなモダンなテクニックとビルディングブロックを使うことで、競合するRGBモデルよりも優れたサイズ、レイテンシ、精度のバランスをとることができる。
広範囲な評価は、我々のネットワークが以前のアプローチに対して強力な代替手段を示すことを示す。
さらに、周波数領域での動作は、アーキテクチャに明示的な変更を加えることなく、推論時に入力を動的に圧縮できることを示す。
関連論文リスト
- TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳（メタデータ） (2023-07-05T13:26:17Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Vector Quantized Time Series Generation with a Bidirectional Prior Model [0.3867363075280544]
時系列生成(TSG)の研究は、主にGAN(Generative Adversarial Networks)とリカレントニューラルネットワーク(RNN)の亜種の使用に焦点を当てている。
本稿では,ベクトル量子化(VQ)技術を用いてTSG問題に対処するTimeVQVAEを提案する。
また、低周波(LF)と高周波(HF)に分かれた時間周波数領域におけるVQモデリングを提案する。
論文 参考訳（メタデータ） (2023-03-08T17:27:39Z) - Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。
我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2022-08-17T02:01:18Z) - A New Clustering-Based Technique for the Acceleration of Deep
Convolutional Networks [2.7393821783237184]
MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。
本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。
これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
論文 参考訳（メタデータ） (2021-07-19T18:22:07Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - Orthogonalized SGD and Nested Architectures for Anytime Neural Networks [30.598394152055338]
直交化SGDはマルチタスクネットワークをトレーニングする際のタスク固有の勾配を動的に再バランスさせる。
実験により、オルソゴン化SGDによるトレーニングは、任意の時間ネットワークの精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2020-08-15T03:06:34Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。