論文の概要: Mixture of Channel Experts: Static Sparse Supports with Input-Adaptive Mixing for Pointwise Projections
- arxiv url: http://arxiv.org/abs/2608.23794v1
- Date: Mon, 24 Aug 2026 19:55:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.571326
- Title: Mixture of Channel Experts: Static Sparse Supports with Input-Adaptive Mixing for Pointwise Projections
- Title（参考訳）: チャネルエキスパートの混在:ポイントワイド投影のための入力適応混合による静的スパースサポート
- Abstract要約: Mixture-of-Experts (MoE)は、個々の入力を独立したパラメータ化専門家の小さなセットを通してルーティングすることで、言語モデルをスケールする。
我々は、この設計を畳み込みネットワークにコピーすることは構造的な理由により失敗することを示し、同じ入力チャネルを読み込む並列畳み込みの専門家は、ほぼ同じフィルタを学習する。
提案するMixture of Channel Experts (MoCE)は,MoEにインスパイアされたスパースチャネル混合層であり,ポイントワイド(1x1)チャネル還元プロジェクションを置き換える。
- 参考スコア（独自算出の注目度）: 3.52359746858894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) scales language models by routing each input through a small set of independently parameterized experts. We show that copying this design into convolutional networks fails for a structural reason: parallel convolutional experts that read the same input channels learn nearly identical filters. We therefore move the expert axis from operator duplication to channel selection. We introduce Mixture of Channel Experts (MoCE), a structured sparse channel-mixing layer, inspired by MoE, that replaces pointwise (1x1) channel-reduction projections. In MoCE, an expert is a single output channel with a learned sparse support of k << C input channels. The selected channels are combined by a softmax whose temperature is predicted per input, so each expert can move between mean-like and max-like aggregation. A residual expert summarizes the unselected channels, and a load-balancing loss keeps channel coverage complete. MoCE replaces a dense projection whose cost is quadratic in C with a mechanism whose relative cost scales as k/C, and the predicted savings hold in measured wall-clock time. Across ResNet backbones on ImageNet-1K and CIFAR-100, transfer learning, EfficientViT, and a strong modern training recipe, MoCE matches or exceeds dense baselines and prior channel-selection methods while reducing MACs by 16.7% and end-to-end latency.
- Abstract（参考訳）: Mixture-of-Experts (MoE)は、個々の入力を独立したパラメータ化専門家の小さなセットを通してルーティングすることで、言語モデルをスケールする。
我々は、この設計を畳み込みネットワークにコピーすることは構造的な理由により失敗することを示し、同じ入力チャネルを読み込む並列畳み込みの専門家は、ほぼ同じフィルタを学習する。
したがって、専門家軸を演算子重複からチャネル選択に移動させる。
提案するMixture of Channel Experts (MoCE)は,MoEにインスパイアされたスパースチャネル混合層であり,ポイントワイド(1x1)チャネル還元プロジェクションを置き換える。
MoCEでは、専門家はk<<C入力チャネルのスパースサポートを学習した単一の出力チャネルである。
選択されたチャネルは、入力毎に温度が予測されるソフトマックスで結合されるため、各専門家は平均的なものと最大的なアグリゲーションの間を移動することができる。
残余の専門家は、選択されていないチャネルを要約し、ロードバランシング損失は、チャネルのカバレッジを完全に保つ。
MoCEは、Cで2次的なコストを持つ密度のプロジェクションを、k/Cとして相対的なコストスケールのメカニズムに置き換える。
ImageNet-1KとCIFAR-100のResNetバックボーン、トランスファーラーニング、EfficientViT、そして強力なモダンなトレーニングレシピ、MoCEは、MACを16.7%削減し、エンドツーエンドのレイテンシーを減らしながら、密度の高いベースラインと以前のチャネル選択メソッドにマッチするか、あるいは超える。
関連論文リスト
- Path-Constrained Mixture-of-Experts [23.80197713200086]
MoEルーティングは各レイヤの専門家を独立して選択する。
本稿では,連続層にまたがるルータパラメータを共有するパスモエを提案する。
0.9Bおよび16Bパラメータモデルの実験では、独立ルーティングよりも複雑なタスクと下流タスクが一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-03-18T21:35:53Z) - Channel-Aware Probing for Multi-Channel Imaging [9.507520646516719]
マルチチャネルイメージング(MCI)データを用いたビジョンエンコーダの訓練と評価は依然として困難である。
ChannelAware Probing (CAP)は、エンコーダとプローブの両方で特徴フローを制御することによって、固有のチャネル間多様性を利用する。
論文 参考訳（メタデータ） (2026-02-13T08:03:27Z) - CPiRi: Channel Permutation-Invariant Relational Interaction for Multivariate Time Series Forecasting [21.579831447953243]
チャネル依存モデルはチャネル間の特徴を学習するが、しばしばチャネルの順序付けに適合する。
チャネルに依存しないモデルは、各チャネルを分離して柔軟性を高めるが、チャネル間の依存関係を無視し、性能を制限する。
固定順序を記憶するのではなく,データからチャネル間構造を推定するフレームワークである textbfCPiRi を提案する。
論文 参考訳（メタデータ） (2026-01-28T07:30:32Z) - CP Loss: Channel-wise Perceptual Loss for Time Series Forecasting [67.3477355449697]
時系列データに対するチャネルワイド知覚損失(CP損失)を提案する。
我々は,その特性に適応した各チャネルに対して,独自の知覚空間を学習する。
これらの知覚空間内で損失を計算し、モデルを最適化する。
論文 参考訳（メタデータ） (2026-01-25T15:31:37Z) - SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。
密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。
また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-12-01T08:22:34Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - End-to-end learnable EEG channel selection with deep neural networks [72.21556656008156]
本稿では,脳波チャネル選択をニューラルネットワーク自体に組み込む枠組みを提案する。
我々は、離散チャネル選択パラメータの連続緩和を用いて、この新しい最適化問題の離散的性質を扱う。
この一般的なアプローチは、2つの異なるEEGタスクで評価される。
論文 参考訳（メタデータ） (2021-02-11T13:44:07Z) - Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。
様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
論文 参考訳（メタデータ） (2020-11-26T12:00:38Z) - Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。
我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
論文 参考訳（メタデータ） (2020-07-08T07:44:00Z) - A Deep Learning Framework for Hybrid Beamforming Without Instantaneous
CSI Feedback [4.771833920251869]
本稿では,ハイブリッドビームフォーミングとチャネル推定の両方を扱うためのディープラーニング(DL)フレームワークを提案する。
提案手法は,従来の最適化手法に比べて,少なくとも10倍の計算複雑性を示す。
論文 参考訳（メタデータ） (2020-06-19T05:47:25Z) - Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。
本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。
画像分類と顔認識の両方の実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-01-04T07:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。