論文の概要: IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
- arxiv url: http://arxiv.org/abs/2603.20682v1
- Date: Sat, 21 Mar 2026 06:50:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.035847
- Title: IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
- Title（参考訳）: IBCapsNet:ノイズ・ロバスト表現学習のための情報ボトルネックカプセルネットワーク
- Authors: Canqun Xiang, Chen Yang, Jiaoyan Zhao,
- Abstract要約: カプセルネットワーク(CapsNets)は階層的な空間関係をモデル化する上で優れているが、2つの限界がある。
本稿では,IB(Information Bottleneck)の原理に基づく新しいカプセルアーキテクチャであるIBCapsNetを提案する。
我々の研究は、カプセルネットワークによる情報理論的表現学習を橋渡しし、堅牢で効率的で解釈可能な深層モデルへの原則的な経路を提供する。
- 参考スコア（独自算出の注目度）: 3.6912754756190345
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Capsule networks (CapsNets) are superior at modeling hierarchical spatial relationships but suffer from two critical limitations: high computational cost due to iterative dynamic routing and poor robustness under input corruptions. To address these issues, we propose IBCapsNet, a novel capsule architecture grounded in the Information Bottleneck (IB) principle. Instead of iterative routing, IBCapsNet employs a one-pass variational aggregation mechanism, where primary capsules are first compressed into a global context representation and then processed by class-specific variational autoencoders (VAEs) to infer latent capsules regularized by the KL divergence. This design enables efficient inference while inherently filtering out noise. Experiments on MNIST, Fashion-MNIST, SVHN and CIFAR-10 show that IBCapsNet matches CapsNet in clean-data accuracy (achieving 99.41% on MNIST and 92.01% on SVHN), yet significantly outperforms it under four types of synthetic noise - demonstrating average improvements of +17.10% and +14.54% for clamped additive and multiplicative noise, respectively. Moreover, IBCapsNet achieves 2.54x faster training and 3.64x higher inference throughput compared to CapsNet, while reducing model parameters by 4.66%. Our work bridges information-theoretic representation learning with capsule networks, offering a principled path toward robust, efficient, and interpretable deep models. Code is available at https://github.com/cxiang26/IBCapsnet
- Abstract（参考訳）: カプセルネットワーク(CapsNets)は階層的な空間関係をモデル化する上で優れているが、反復的動的ルーティングによる高い計算コストと入力の破損によるロバスト性という2つの限界がある。
IBCapsNetは,IB(Information Bottleneck)の原理に基づく新しいカプセルアーキテクチャである。
IBCapsNetは反復的なルーティングの代わりに、1パスの変動アグリゲーション機構を採用しており、プライマリカプセルはまずグローバルなコンテキスト表現に圧縮され、次にクラス固有の変動オートエンコーダ(VAE)によって処理され、KLの発散によって規則化された潜在カプセルを推論する。
この設計は、本質的にノイズをフィルタリングしながら効率的な推論を可能にする。
MNIST、Fashion-MNIST、SVHN、CIFAR-10の実験では、IBCapsNetはCapsNetとクリーンデータ精度(MNISTは99.41%、SVHNは92.01%)で一致しているが、これらは4種類の合成ノイズで著しく上回っている。
さらに、IBCapsNetはCapsNetに比べて2.54倍高速なトレーニングと3.64倍高い推論スループットを実現し、モデルパラメータを4.66%削減した。
我々の研究は、カプセルネットワークによる情報理論的表現学習を橋渡しし、堅牢で効率的で解釈可能な深層モデルへの原則的な経路を提供する。
コードはhttps://github.com/cxiang26/IBCapsnetで入手できる。
関連論文リスト
- DSNet: A Novel Way to Use Atrous Convolutions in Semantic Segmentation [8.240211805240023]
我々は、現代の畳み込みニューラルネットワーク(CNN)におけるアトラス畳み込みの設計を再考する。
本稿では,モデルアーキテクチャの浅い層にアトラス畳み込みを組み込んだDual-Branch CNNアーキテクチャDSNetを提案する。
私たちのモデルは、ADE20K、Cityscapes、BDDデータセットの正確性とスピードの新たな最先端のトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-06-06T02:51:57Z) - OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
冗長性はCapsule Networks(CapsNet)における永続的な課題である
本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
論文 参考訳（メタデータ） (2024-03-20T07:25:24Z) - CFDP: Common Frequency Domain Pruning [0.3021678014343889]
本稿では,周波数領域を経由したモデルプルーニングのための新しいエンドツーエンドパイプラインを提案する。
我々はCIFAR-10で、GoogLeNetが95.25%、すなわちオリジナルのモデルから+0.2%の精度で達成した。
特筆すべきパフォーマンスに加えて、CFDPによって生成されたモデルは、様々な構成に対して堅牢性を示す。
論文 参考訳（メタデータ） (2023-06-07T04:49:26Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch
Whitening [63.081808698068365]
本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。
以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。
本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
論文 参考訳（メタデータ） (2021-05-13T17:00:05Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳（メタデータ） (2021-01-16T08:56:38Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。