論文の概要: MID-L: Matrix-Interpolated Dropout Layer with Layer-wise Neuron Selection

• arxiv url: http://arxiv.org/abs/2505.11416v1
• Date: Fri, 16 May 2025 16:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.582553
• Title: MID-L: Matrix-Interpolated Dropout Layer with Layer-wise Neuron Selection
• Title（参考訳）: MID-L: 層ワイドニューロン選択によるマトリックス補間ドロップアウト層
• Authors: Pouya Shaeri, Ariane Middel,
• Abstract要約: Matrix-Interpolated Dropout Layer (MID-L) は、最も情報性の高いニューロンのみを動的に選択し、活性化する。 MNIST, CIFAR-10, CIFAR-100, SVHN, UCI adult, IMDB の6つのベンチマークによる実験の結果, MID-L は活動ニューロンの55%まで減少することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural networks often activate all neurons for every input, leading to unnecessary computation and inefficiency. We introduce Matrix-Interpolated Dropout Layer (MID-L), a novel module that dynamically selects and activates only the most informative neurons by interpolating between two transformation paths via a learned, input-dependent gating vector. Unlike conventional dropout or static sparsity methods, MID-L employs a differentiable Top-k masking strategy, enabling per-input adaptive computation while maintaining end-to-end differentiability. MID-L is model-agnostic and integrates seamlessly into existing architectures. Extensive experiments on six benchmarks, including MNIST, CIFAR-10, CIFAR-100, SVHN, UCI Adult, and IMDB, show that MID-L achieves up to average 55\% reduction in active neurons, 1.7$\times$ FLOPs savings, and maintains or exceeds baseline accuracy. We further validate the informativeness and selectivity of the learned neurons via Sliced Mutual Information (SMI) and observe improved robustness under overfitting and noisy data conditions. Additionally, MID-L demonstrates favorable inference latency and memory usage profiles, making it suitable for both research exploration and deployment on compute-constrained systems. These results position MID-L as a general-purpose, plug-and-play dynamic computation layer, bridging the gap between dropout regularization and efficient inference.
• Abstract（参考訳）: 現代のニューラルネットワークはしばしば入力毎に全てのニューロンを活性化し、不要な計算と非効率をもたらす。 学習した入力依存ゲーティングベクトルを介して2つの変換経路を補間することにより、最も情報性の高いニューロンのみを動的に選択・活性化する新しいモジュールであるMatrix-Interpolated Dropout Layer (MID-L) を導入する。 MID-Lは従来のドロップアウト法や静的スポーシティ法とは異なり、Top-kマスキング方式を採用しており、エンドツーエンドの微分性を維持しながら、インプット毎の適応計算を可能にする。 MID-Lはモデルに依存しず、既存のアーキテクチャとシームレスに統合される。 MNIST, CIFAR-10, CIFAR-100, SVHN, UCIアダルト, IMDB などの6つのベンチマークにおいて, MID-L は活動ニューロンの平均 55 % の減少, 1.7$\times$ FLOPs の保存を達成し, ベースライン精度を維持または超えた。 SMI(Sliced Mutual Information)を用いて学習ニューロンの情報提供と選択性を検証するとともに,過度に適合し,ノイズの多いデータ条件下での堅牢性の向上を観察する。 さらに、MID-Lは推論遅延とメモリ使用率プロファイルを好適に示しており、計算に制約のあるシステムの探索と展開の両方に適している。 これらの結果から,MID-Lを汎用・プラグ・アンド・プレイ動的計算層として位置づけ,ドロップアウト正規化と効率的な推論のギャップを埋めることができた。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Effective Non-Random Extreme Learning Machine [0.0]
  本稿では、回帰タスクのための新しい拡張学習アルゴリズム、Effective Non-Random ELM(ENR-ELM)を提案する。 提案手法は,基本関数や投影などの信号処理の概念をEMMフレームワークに組み込む。 合成データと実データの両方を用いた実験結果から,本手法は従来のEMMの課題を克服し,比較可能な予測性能を維持していることが示された。
  論文  参考訳（メタデータ） (2024-11-25T09:42:42Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• MISNN: Multiple Imputation via Semi-parametric Neural Networks [9.594714330925703]
  バイオメディカル・ソーシャル・エコノメトリー研究において、多重計算(Multiple Imputation, MI)は、欠落した価値問題に広く応用されている。 提案するMISNNは,MIの特徴選択を取り入れた,新規で効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-02T21:45:36Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance Imaging in the Human Brain [8.93274096260726]
  本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。 DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
  論文  参考訳（メタデータ） (2022-05-20T15:55:01Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。