論文の概要: IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck
- arxiv url: http://arxiv.org/abs/2405.14192v1
- Date: Thu, 23 May 2024 05:35:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 18:55:13.753150
- Title: IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck
- Title（参考訳）: IB-AdCSCNet:Information Bottleneckによる適応畳み込みスパース符号化ネットワーク
- Authors: He Zou, Meng'en Qin, Yu Song, Xiaohui Yang,
- Abstract要約: IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。
IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。
CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
- 参考スコア（独自算出の注目度）: 4.523653503622693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the realm of neural network models, the perpetual challenge remains in retaining task-relevant information while effectively discarding redundant data during propagation. In this paper, we introduce IB-AdCSCNet, a deep learning model grounded in information bottleneck theory. IB-AdCSCNet seamlessly integrates the information bottleneck trade-off strategy into deep networks by dynamically adjusting the trade-off hyperparameter $\lambda$ through gradient descent, updating it within the FISTA(Fast Iterative Shrinkage-Thresholding Algorithm ) framework. By optimizing the compressive excitation loss function induced by the information bottleneck principle, IB-AdCSCNet achieves an optimal balance between compression and fitting at a global level, approximating the globally optimal representation feature. This information bottleneck trade-off strategy driven by downstream tasks not only helps to learn effective features of the data, but also improves the generalization of the model. This study's contribution lies in presenting a model with consistent performance and offering a fresh perspective on merging deep learning with sparse representation theory, grounded in the information bottleneck concept. Experimental results on CIFAR-10 and CIFAR-100 datasets demonstrate that IB-AdCSCNet not only matches the performance of deep residual convolutional networks but also outperforms them when handling corrupted data. Through the inference of the IB trade-off, the model's robustness is notably enhanced.
- Abstract（参考訳）: ニューラルネットワークモデルの領域では、タスク関連情報を保持しつつ、伝播中に冗長なデータを効果的に破棄するという、永続的な課題が依然として残っている。
本稿では,情報ボトルネック理論に基づくディープラーニングモデルであるIB-AdCSCNetを紹介する。
IB-AdCSCNetは、FISTA(Fast Iterative Shrinkage-Thresholding Algorithm )フレームワーク内でのトレードオフハイパーパラメータ$\lambda$を動的に調整することで、情報ボトルネックのトレードオフ戦略をディープネットワークにシームレスに統合する。
IB-AdCSCNetは、情報ボトルネック原理によって誘導される圧縮励起損失関数を最適化することにより、グローバルレベルでの圧縮と嵌合の最適バランスを達成し、グローバルな最適な表現特徴を近似する。
下流タスクによって駆動されるこの情報ボトルネックトレードオフ戦略は、データの効果的な特徴を学ぶのに役立つだけでなく、モデルの一般化も改善する。
この研究の貢献は、一貫した性能を持つモデルを提示し、情報ボトルネックの概念に基づいて、深層学習とスパース表現理論を融合する新しい視点を提供することである。
CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
IBトレードオフの推論を通じて、モデルの堅牢性は顕著に強化されている。
関連論文リスト
- An Enhanced Encoder-Decoder Network Architecture for Reducing Information Loss in Image Semantic Segmentation [6.596361762662328]
残差接続により拡張された革新的なエンコーダ・デコーダネットワーク構造を導入する。
提案手法では,様々な画像スケールにまたがる複雑な情報保存を効果的に行うために,マルチレジデント接続戦略を採用している。
ネットワークトレーニングの収束率を高め,サンプルの不均衡問題を緩和するために,改良されたクロスエントロピー損失関数を考案した。
論文 参考訳（メタデータ） (2024-05-26T05:15:53Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - Mitigating severe over-parameterization in deep convolutional neural
networks through forced feature abstraction and compression with an
entropy-based heuristic [7.503338065129185]
本稿では,エントロピーに基づく畳み込み層推定(EBCLE)を提案する。
EBCLEを用いて訓練したより広いが浅いモデルの相対的有効性を強調する実証的証拠を提示する。
論文 参考訳（メタデータ） (2021-06-27T10:34:39Z) - Drill the Cork of Information Bottleneck by Inputting the Most Important
Data [28.32769151293851]
ディープニューラルネットワークを効率的にトレーニングする方法はまだ解決されていない。
情報ボトルネック(IB)理論は、最適化過程は初期適合相と次の圧縮相からなると主張している。
IB理論で表される嵌合相は、典型的サンプリングが適切に適用された場合、高い信号対雑音比で促進されることを示す。
論文 参考訳（メタデータ） (2021-05-15T09:20:36Z) - FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network
Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。
相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。
我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文 参考訳（メタデータ） (2020-12-17T08:20:09Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。