論文の概要: Dynamic Shuffle: An Efficient Channel Mixture Method
- arxiv url: http://arxiv.org/abs/2310.02776v1
- Date: Wed, 4 Oct 2023 12:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 15:08:44.700886
- Title: Dynamic Shuffle: An Efficient Channel Mixture Method
- Title（参考訳）: dynamic shuffle:効率的なチャネル混合法
- Authors: Kaijun Gong, Zhuowen Yin, Yushu Li, Kailing Guo, Xiangmin Xu
- Abstract要約: 我々は、シャッフルのためのデータ依存の置換行列を生成するための動的シャッフルモジュールを考案した。
画像分類ベンチマークによる実験結果から,ShuffleNetsの性能は有意に向上した。
- 参考スコア（独自算出の注目度）: 8.720510396996142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The redundancy of Convolutional neural networks not only depends on weights
but also depends on inputs. Shuffling is an efficient operation for mixing
channel information but the shuffle order is usually pre-defined. To reduce the
data-dependent redundancy, we devise a dynamic shuffle module to generate
data-dependent permutation matrices for shuffling. Since the dimension of
permutation matrix is proportional to the square of the number of input
channels, to make the generation process efficiently, we divide the channels
into groups and generate two shared small permutation matrices for each group,
and utilize Kronecker product and cross group shuffle to obtain the final
permutation matrices. To make the generation process learnable, based on
theoretical analysis, softmax, orthogonal regularization, and binarization are
employed to asymptotically approximate the permutation matrix. Dynamic shuffle
adaptively mixes channel information with negligible extra computation and
memory occupancy. Experiment results on image classification benchmark datasets
CIFAR-10, CIFAR-100, Tiny ImageNet and ImageNet have shown that our method
significantly increases ShuffleNets' performance. Adding dynamic generated
matrix with learnable static matrix, we further propose static-dynamic-shuffle
and show that it can serve as a lightweight replacement of ordinary pointwise
convolution.
- Abstract（参考訳）: 畳み込みニューラルネットワークの冗長性は重みに依存するだけでなく、入力にも依存する。
シャッフルはチャネル情報を混合する効率的な操作であるが、シャッフル順序は通常予め定義されている。
データ依存冗長性を低減するため、動的シャッフルモジュールを考案し、シャッフルのためのデータ依存置換行列を生成する。
置換行列の次元は入力チャネルの数の二乗に比例するので、生成過程を効率的に行うために、チャネルをグループに分けて、各グループで共有される2つの小さな置換行列を生成し、クロネッカー積とクロスグループシャッフルを利用して最終的な置換行列を得る。
理論解析、ソフトマックス、直交正則化、双項化に基づいて生成過程を学習可能にし、漸近的に置換行列を近似する。
動的シャッフルはチャネル情報と不要な余分な計算とメモリ占有を適応的に混合する。
CIFAR-10, CIFAR-100, Tiny ImageNet, ImageNetによる画像分類ベンチマーク実験の結果, ShuffleNetsの性能は有意に向上した。
学習可能な静的マトリクスを用いた動的生成マトリクスの追加により、静的動的シャッフルを提案し、通常のポイントワイズ畳み込みの軽量な代替として機能することを示す。
関連論文リスト
- GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression [64.47244912937204]
本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。
GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。
実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-02T10:48:22Z) - Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。
最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。
データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-03-11T06:34:05Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Adaptive aggregation of Monte Carlo augmented decomposed filters for efficient group-equivariant convolutional neural network [0.36122488107441414]
グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。
群同変ニューラルネットワークに対する非パラメータ共有手法を提案する。
提案手法は, 拡張フィルタの重み付け和により, 多様なフィルタを適応的に集約する。
論文 参考訳（メタデータ） (2023-05-17T10:18:02Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳（メタデータ） (2022-06-08T18:18:18Z) - Adaptive Fourier Neural Operators: Efficient Token Mixers for
Transformers [55.90468016961356]
本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。
AFNOは、演算子学習の原則的基礎に基づいている。
65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
論文 参考訳（メタデータ） (2021-11-24T05:44:31Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - ShuffleBlock: Shuffle to Regularize Deep Convolutional Neural Networks [35.67192058479252]
本稿では,ディープ畳み込みネットワークにおける正規化手法としてのチャネルシャッフルの動作について検討する。
トレーニング中のチャネルのランダムシャッフルは性能を大幅に低下させるが、小さなパッチをランダムにシャッフルすると性能が大幅に向上することを示した。
ShuffleBlockモジュールは実装が容易で、CIFARとImageNetデータセットの画像分類タスクにおいて、いくつかのベースラインネットワークの性能を改善している。
論文 参考訳（メタデータ） (2021-06-17T10:23:00Z) - Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。
本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
論文 参考訳（メタデータ） (2021-03-15T23:03:18Z) - Kaleidoscope: An Efficient, Learnable Representation For All Structured
Linear Maps [20.151950843660973]
我々は,準最適空間を持つ任意の構造行列を表現可能なk行列(kaleidoscope matrices)を導入する。
K-行列は手作りの手順を置き換えるためにエンドツーエンドのパイプライン内で自動的に学習することができる。
我々はTransformerネットワークでK-matricesを使用して、言語翻訳タスクにおいて、エンドツーエンドの推論速度を36%高速化する。
論文 参考訳（メタデータ） (2020-12-29T22:51:29Z) - Residual Shuffle-Exchange Networks for Fast Processing of Long Sequences [3.8848561367220276]
本稿では,GELUとレイヤ正規化を用いた残差ネットワークに基づくShuffle-Exchangeネットワークの簡易かつ軽量なバージョンを提案する。
提案したアーキテクチャは, より長いシーケンスにスケールするだけでなく, より高速に収束し, 精度も向上する。
LAMBADA言語モデリングタスクのShuffle-Exchangeネットワークを超越し、MusicNetデータセットの最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2020-04-06T12:44:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。