論文の概要: Lightweight Adaptive ReduNet via Hyperspherical Manifold Learning
- arxiv url: http://arxiv.org/abs/2608.20668v1
- Date: Fri, 21 Aug 2026 01:58:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.340034
- Title: Lightweight Adaptive ReduNet via Hyperspherical Manifold Learning
- Title（参考訳）: 超球面マニフォールド学習による軽量適応型ReduNet
- Abstract要約: レイヤワイズ更新ルールを改良した軽量適応アーキテクチャであるLA-ReduNetを提案する。
LA-ReduNet は MCR$2$ の目標に対して,安定した値に達するために,はるかに少ないレイヤを必要とすることを示す。
注目すべきは、検討された実験的設定の下では、LA-ReduNetは、展開されたReduNetモジュールのパラメータストレージの約1/29ドルしか必要としないことだ。
- 参考スコア（独自算出の注目度）: 30.408921338315093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, a white-box neural network called ReduNet has been proposed, which employs the maximal coding rate reduction (MCR$^2$) principle to transform raw data into low-dimensional discriminative features via a forward layer-wise construction process. Unlike traditional deep networks that rely on backpropagation, ReduNet explicitly derives the parameters of each layer from the features of its preceding layer, offering a mathematically interpretable paradigm. However, this layer-wise construction often requires a large number of layers for the MCR$^2$ objective to reach a stable value, which increases the parameter storage of the unfolded module. To address this issue, we propose LA-ReduNet, a lightweight adaptive architecture that refines the layer-wise update rule and enables discriminative feature representations to be obtained with substantially fewer unfolded layers. Specifically, LA-ReduNet employs hyperspherical manifold learning and adaptive step sizes, thereby reducing by an order of magnitude the number of layers required for the MCR$^2$ objective to reach a stable value. Simulation results demonstrate that, while maintaining comparable classification accuracy, LA-ReduNet requires significantly fewer layers for the MCR$^2$ objective to reach a stable value. Remarkably, under the considered experimental settings, LA-ReduNet requires only approximately $1/29$ of the parameter storage of the unfolded ReduNet module for the MCR$^2$ objective to reach a stable value.
- Abstract（参考訳）: 近年,RuNetと呼ばれるホワイトボックスニューラルネットワークが提案されている。このニューラルネットワークは,生データをフォワード層ワイドな構築プロセスを通じて低次元の識別特徴に変換するために,最大符号化レート削減(MCR$^2$)の原理を用いている。
バックプロパゲーションに依存する従来のディープネットワークとは異なり、ReduNetは各レイヤのパラメータを前層の特徴から明示的に導き出し、数学的に解釈可能なパラダイムを提供する。
しかし、この階層的な構成は、安定な値に達するためにMCR$^2$の目的のために多数の層を必要とすることが多く、これは展開されたモジュールのパラメータ記憶量を増加させる。
この問題を解決するために、LA-ReduNetを提案する。LA-ReduNetは、レイヤワイズ更新ルールを洗練し、かなり少ない展開層で識別的特徴表現を得ることができる軽量適応アーキテクチャである。
具体的には、LA-ReduNetは超球面多様体学習と適応的なステップサイズを採用しており、MCR$^2$オブジェクトが安定な値に達するのに必要なレイヤーの数を桁違いに減らしている。
シミュレーションの結果、LA-ReduNetは同等の分類精度を維持しながら、安定な値に達するためにはMCR$^2$の目的のために著しく少ない層を必要とすることが示された。
注目すべきなのは、LA-ReduNetは、MCR$^2$の目的のために展開されたReduNetモジュールのパラメータストレージの約1/29ドルしか必要としないことだ。
関連論文リスト
- Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs [8.425980139753646]
本稿では,レイヤワイドな3つの測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics (LRD)を提案する。
LRDを31モデルに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。
論文 参考訳（メタデータ） (2026-05-12T20:22:45Z) - RPCANet++: Deep Interpretable Robust PCA for Sparse Object Segmentation [51.37553739930992]
RPCANet++は、RPCAの解釈可能性と効率的なディープアーキテクチャを融合したスパースオブジェクトセグメンテーションフレームワークである。
我々のアプローチは、緩やかなRPCAモデルを背景近似モジュール(BAM)、対象抽出モジュール(OEM)、画像復元モジュール(IRM)からなる構造化ネットワークに展開する。
さまざまなデータセットの実験では、RPCANet++がさまざまなイメージングシナリオの下で最先端のパフォーマンスを達成することが示されている。
論文 参考訳（メタデータ） (2025-08-06T08:19:37Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - ESS-ReduNet: Enhancing Subspace Separability of ReduNet via Dynamic Expansion with Bayesian Inference [2.5257156042887496]
本稿では,各カテゴリのサブ空間の分離性を高めるためのESS-ReduNetを提案する。
ESS-ReduNetはReduNetに比べて10倍以上のコンバージェンス向上を実現している。
論文 参考訳（メタデータ） (2024-11-27T00:37:12Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。
ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。
この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
論文 参考訳（メタデータ） (2022-02-02T02:33:24Z) - Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。
LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文 参考訳（メタデータ） (2020-10-15T09:14:02Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。