論文の概要: Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates

• arxiv url: http://arxiv.org/abs/2310.12461v1
• Date: Thu, 19 Oct 2023 04:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 16:55:43.663035
• Title: Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates
• Title（参考訳）: Balanced Group Convolution: 近似可能性推定に基づくグループ畳み込みの改善
• Authors: Youngkyu Lee, Jongho Park, Chang-Ock Lee
• Abstract要約: グループ畳み込みは、グループ化チャネルによる計算コストを効果的に削減する。 我々は、群畳み込みの標準畳み込みに対する近似を数学的に解析する。 本稿では,小額の計算コストを伴って高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。
• 参考スコア（独自算出の注目度）: 1.927926533063962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of neural networks has been significantly improved by increasing the number of channels in convolutional layers. However, this increase in performance comes with a higher computational cost, resulting in numerous studies focused on reducing it. One promising approach to address this issue is group convolution, which effectively reduces the computational cost by grouping channels. However, to the best of our knowledge, there has been no theoretical analysis on how well the group convolution approximates the standard convolution. In this paper, we mathematically analyze the approximation of the group convolution to the standard convolution with respect to the number of groups. Furthermore, we propose a novel variant of the group convolution called balanced group convolution, which shows a higher approximation with a small additional computational cost. We provide experimental results that validate our theoretical findings and demonstrate the superior performance of the balanced group convolution over other variants of group convolution.
• Abstract（参考訳）: 畳み込み層におけるチャネル数の増加により、ニューラルネットワークの性能は大幅に向上している。 しかし、この性能向上は高い計算コストを伴い、それを減らすことに焦点を当てた多くの研究に繋がった。 この問題に対処するための有望なアプローチはグループ畳み込みであり、チャネルをグループ化することで計算コストを効果的に削減する。 しかしながら、我々の知る限りでは、群畳み込みが標準畳み込みをいかにうまく近似するかに関する理論的分析は行われていない。 本稿では,群数に関する標準畳み込みに対する群畳み込みの近似を数学的に解析する。 さらに,より少ない計算コストで高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。 理論的な結果を検証する実験結果を示し, 群畳み込みの他の変種に対して, 平衡群畳み込みの優れた性能を示す。

関連論文リスト

• GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression [64.47244912937204]
  本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。 GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-02T10:48:22Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping [7.691755449724638]
  強化学習は、しばしば高次元空間における状態や行動の指数的な成長に対処する必要がある。 我々は、動作に類似したMDPの固有の構造を学び、性能劣化とサンプル/計算の複雑さを適切にバランスさせる。
  論文  参考訳（メタデータ） (2023-06-22T15:40:10Z)
• Sparse-group boosting -- Unbiased group and variable selection [0.0]
  群内空間と群間空間は混合パラメータによって制御可能であることを示す。 シミュレーション,遺伝子データおよび農業データを用いて,この推定装置の有効性と予測的競争性を示す。
  論文  参考訳（メタデータ） (2022-06-13T17:44:16Z)
• Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups [14.029933823101084]
  群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-10-25T15:56:53Z)
• Two-level Group Convolution [2.2344764434954256]
  群畳み込みは、畳み込みの計算時間を短縮するために広く使われている。 本稿では,グループ数の増加に対してロバストな2レベルグループ畳み込みという新しい畳み込み手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T07:54:49Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。