論文の概要: Two-level Group Convolution

• arxiv url: http://arxiv.org/abs/2110.05060v1
• Date: Mon, 11 Oct 2021 07:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 04:09:22.100877
• Title: Two-level Group Convolution
• Title（参考訳）: 2レベルグループ畳み込み
• Authors: Youngkyu Lee, Jongho Park and Chang-Ock Lee
• Abstract要約: 群畳み込みは、畳み込みの計算時間を短縮するために広く使われている。 本稿では,グループ数の増加に対してロバストな2レベルグループ畳み込みという新しい畳み込み手法を提案する。
• 参考スコア（独自算出の注目度）: 2.2344764434954256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group convolution has been widely used in order to reduce the computation time of convolution, which takes most of the training time of convolutional neural networks. However, it is well known that a large number of groups significantly reduce the performance of group convolution. In this paper, we propose a new convolution methodology called ``two-level'' group convolution that is robust with respect to the increase of the number of groups and suitable for multi-GPU parallel computation. We first observe that the group convolution can be interpreted as a one-level block Jacobi approximation of the standard convolution, which is a popular notion in the field of numerical analysis. In numerical analysis, there have been numerous studies on the two-level method that introduces an intergroup structure that resolves the performance degradation issue without disturbing parallel computation. Motivated by these, we introduce a coarse-level structure which promotes intergroup communication without being a bottleneck in the group convolution. We show that all the additional work induced by the coarse-level structure can be efficiently processed in a distributed memory system. Numerical results that verify the robustness of the proposed method with respect to the number of groups are presented. Moreover, we compare the proposed method to various approaches for group convolution in order to highlight the superiority of the proposed method in terms of execution time, memory efficiency, and performance.
• Abstract（参考訳）: グループ畳み込みは畳み込みの計算時間を削減するために広く用いられており、畳み込みニューラルネットワークのトレーニング時間の大部分を要している。 しかし、多数のグループがグループ畳み込みのパフォーマンスを著しく低下させることはよく知られている。 本稿では,グループ数の増加に対して頑健であり,マルチgpu並列計算に適した,'2レベル'群畳み込みという新しい畳み込み手法を提案する。 まず, 群畳み込みを標準畳み込みの1レベルブロックジャコビ近似と解釈し, 数値解析の分野では一般的な概念である。 数値解析では、並列計算を妨害することなく性能劣化を解消するグループ間構造を導入する2段階法について多くの研究がなされている。 これらを動機として,グループ畳み込みのボトルネックとなることなくグループ間通信を促進する粗い構造を導入する。 分散メモリシステムにおいて,粗い階層構造によって引き起こされる付加的な処理を効率的に処理できることを示す。 提案手法の群数に対するロバスト性を検証する数値結果を示す。 さらに,提案手法をグループ畳み込みの様々な手法と比較し,提案手法が実行時間,メモリ効率,性能において優れていることを強調する。

関連論文リスト

• GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression [64.47244912937204]
  本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。 GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-02T10:48:22Z)
• Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates [1.927926533063962]
  グループ畳み込みは、グループ化チャネルによる計算コストを効果的に削減する。 我々は、群畳み込みの標準畳み込みに対する近似を数学的に解析する。 本稿では,小額の計算コストを伴って高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。
  論文  参考訳（メタデータ） (2023-10-19T04:39:38Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping [7.691755449724638]
  強化学習は、しばしば高次元空間における状態や行動の指数的な成長に対処する必要がある。 我々は、動作に類似したMDPの固有の構造を学び、性能劣化とサンプル/計算の複雑さを適切にバランスさせる。
  論文  参考訳（メタデータ） (2023-06-22T15:40:10Z)
• Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
  クラスタリングは教師なし学習における基本的なプリミティブである。 最近の研究は、低次手法のクラスに対する低い境界を確立している。 意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
  論文  参考訳（メタデータ） (2021-12-07T18:50:17Z)
• Shift of Pairwise Similarities for Data Clustering [7.462336024223667]
  正規化項がクラスタの2乗サイズの和である場合を考察し、ペアの類似性の適応正規化に一般化する。 これは、ペアの類似性を(適切に)シフトさせ、それらのうちのいくつかを負にする可能性がある。 そこで我々は,新しいクラスタリング問題を解くために,高速な理論的収束率を持つ効率的な局所探索最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:55:07Z)
• Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups [14.029933823101084]
  群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-10-25T15:56:53Z)
• Exclusive Group Lasso for Structured Variable Selection [10.86544864007391]
  構造化変数選択問題を考える。 合成ノルムは、そのような排他的グループ空間パターンを促進するために適切に設計することができる。 構造原子を推定された支持体に含めて解を構築する能動集合アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-08-23T16:55:13Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• Clustering Ensemble Meets Low-rank Tensor Approximation [50.21581880045667]
  本稿では,複数のクラスタリングを組み合わせ,個々のクラスタリングよりも優れたパフォーマンスを実現するクラスタリングアンサンブルの問題について検討する。 本稿では,この問題をグローバルな視点から解くために,新しい低ランクテンソル近似法を提案する。 7つのベンチマークデータセットを用いた実験の結果,提案手法は12の最先端手法と比較して,クラスタリング性能のブレークスルーを達成した。
  論文  参考訳（メタデータ） (2020-12-16T13:01:37Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。