論文の概要: Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates

• arxiv url: http://arxiv.org/abs/2310.12461v1
• Date: Thu, 19 Oct 2023 04:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-20 16:55:43.663035
• Title: Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates
• Title（参考訳）: Balanced Group Convolution: 近似可能性推定に基づくグループ畳み込みの改善
• Abstract要約: グループ畳み込みは、グループ化チャネルによる計算コストを効果的に削減する。 我々は、群畳み込みの標準畳み込みに対する近似を数学的に解析する。 本稿では,小額の計算コストを伴って高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。
• 参考スコア（独自算出の注目度）: 1.927926533063962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of neural networks has been significantly improved by increasing the number of channels in convolutional layers. However, this increase in performance comes with a higher computational cost, resulting in numerous studies focused on reducing it. One promising approach to address this issue is group convolution, which effectively reduces the computational cost by grouping channels. However, to the best of our knowledge, there has been no theoretical analysis on how well the group convolution approximates the standard convolution. In this paper, we mathematically analyze the approximation of the group convolution to the standard convolution with respect to the number of groups. Furthermore, we propose a novel variant of the group convolution called balanced group convolution, which shows a higher approximation with a small additional computational cost. We provide experimental results that validate our theoretical findings and demonstrate the superior performance of the balanced group convolution over other variants of group convolution.
• Abstract（参考訳）: 畳み込み層におけるチャネル数の増加により、ニューラルネットワークの性能は大幅に向上している。 しかし、この性能向上は高い計算コストを伴い、それを減らすことに焦点を当てた多くの研究に繋がった。 この問題に対処するための有望なアプローチはグループ畳み込みであり、チャネルをグループ化することで計算コストを効果的に削減する。 しかしながら、我々の知る限りでは、群畳み込みが標準畳み込みをいかにうまく近似するかに関する理論的分析は行われていない。 本稿では,群数に関する標準畳み込みに対する群畳み込みの近似を数学的に解析する。 さらに,より少ない計算コストで高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。 理論的な結果を検証する実験結果を示し, 群畳み込みの他の変種に対して, 平衡群畳み込みの優れた性能を示す。

関連論文リスト

• Transfer Learning in Nonparametric Regression with Deep ReLU Networks [9.811354059045287]
  本稿では,複数のグループからなるデータを用いた非パラメトリック回帰のための一般的な伝達学習フレームワークを開発する。 より単純な関数による学習や、グループ間でサンプルをプールすることでデータ拡張など、より高速なレートでポジティブな転送を可能にする条件が検討されている。 各種シミュレーションおよび実データ実験により,提案手法の有効性がさらに検証された。
  論文  参考訳（メタデータ） (2026-08-20T16:53:00Z)
• Neural Networks Provably Learn Spectral Representations for Group Composition [51.637084292404616]
  ニューラルネットワークトレーニング中に内部構造がどのように現れるかを検討する。 トレーニング力学は表現理論エネルギー汎関数上の勾配上昇によって支配されていることを証明する。 このフレームワークは特徴学習の表現論的記述を提供し、新しい低ランク圧縮現象を特徴付ける。
  論文  参考訳（メタデータ） (2026-06-02T01:04:21Z)
• Overlapped groupings for quantum energy estimation: Maximal variance reduction and deterministic algorithms for reducing variance [0.0]
  グルーピングに基づく測定戦略は、短期量子アルゴリズムにおける測定複雑性を低減するために広く用いられている。 近年の研究では、この戦略により、小さなベンチマーク問題に対するエネルギー推定のばらつきを低減できることが数値的に示されている。 ここでは、エネルギー推定のための重なり合うグルーピングが、ハミルトン項の数で線型な最大分散還元をもたらすことを証明している。
  論文  参考訳（メタデータ） (2026-04-08T14:47:26Z)
• GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression [64.47244912937204]
  本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。 GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-02T10:48:22Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping [7.691755449724638]
  強化学習は、しばしば高次元空間における状態や行動の指数的な成長に対処する必要がある。 我々は、動作に類似したMDPの固有の構造を学び、性能劣化とサンプル/計算の複雑さを適切にバランスさせる。
  論文  参考訳（メタデータ） (2023-06-22T15:40:10Z)
• Sparse-group boosting -- Unbiased group and variable selection [0.0]
  群内空間と群間空間は混合パラメータによって制御可能であることを示す。 シミュレーション,遺伝子データおよび農業データを用いて,この推定装置の有効性と予測的競争性を示す。
  論文  参考訳（メタデータ） (2022-06-13T17:44:16Z)
• Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups [14.029933823101084]
  群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-10-25T15:56:53Z)
• Two-level Group Convolution [2.2344764434954256]
  群畳み込みは、畳み込みの計算時間を短縮するために広く使われている。 本稿では,グループ数の増加に対してロバストな2レベルグループ畳み込みという新しい畳み込み手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T07:54:49Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。