論文の概要: A Mathematical Theory of Reusable Neural Bases for Network Compression

• arxiv url: http://arxiv.org/abs/2609.01550v1
• Date: Tue, 01 Sep 2026 17:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.889467
• Title: A Mathematical Theory of Reusable Neural Bases for Network Compression
• Title（参考訳）: ネットワーク圧縮のための再利用可能なニューラルネットワーク基底の数学的理論
• Authors: Binshuai Wang,
• Abstract要約: 本稿では,パラメータ効率の向上とメモリコスト削減を目的とした新しいフレームワークであるLinear Reusable Neural Bases Architecture(LRNBA)を紹介する。 リカレントニューラルネットワーク(RNN)の設計に触発されて、我々のアプローチの中核となる考え方は、各ネットワークブロックを、共有されたニューラルネットワークの集合の線形結合として表現することである。 我々のモデルは、安定したトレーニングダイナミクスを維持しながら、古典的アーキテクチャよりも同等あるいはより高速な収束と損失を達成します。
• 参考スコア（独自算出の注目度）: 0.3819401010130676
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As large AI models become increasingly prevalent across a wide range of applications, memory cost has become a critical bottleneck in both training and inference. To mitigate this issue, we introduce the Linear Reusable Neural Bases Architecture (LRNBA), a novel framework aimed at improving parameter efficiency and reducing memory cost. Inspired by recurrent neural network (RNN) designs, the core idea of our approach is to represent each network block as a linear combination of a shared set of neural bases, thereby enjoying highly network compression rate while maintaining stable training. The proposed architecture allows for the construction of significantly wider and deeper networks under the same parameter budget. Extensive experiments demonstrate that our model achieves comparable or even faster convergence and lower loss than classical architectures, while maintaining stable training dynamics.
• Abstract（参考訳）: 大規模なAIモデルが広範囲のアプリケーションで普及するにつれて、トレーニングと推論の両方において、メモリコストが重要なボトルネックになっている。 この問題を軽減するために,パラメータ効率の向上とメモリコストの削減を目的とした新しいフレームワークであるLinear Reusable Neural Bases Architecture(LRNBA)を導入する。 リカレントニューラルネットワーク(RNN)の設計に触発されて、我々のアプローチの中核となる考え方は、各ネットワークブロックを共有ニューラルネットワークの線形結合として表現し、安定したトレーニングを維持しながら高いネットワーク圧縮率を享受することである。 提案したアーキテクチャでは、パラメータの予算が同じで、より広くより深いネットワークを構築することができる。 大規模な実験により、我々のモデルは古典的アーキテクチャよりも同等あるいはより高速な収束と損失を達成し、安定したトレーニングダイナミクスを維持していることが示された。

関連論文リスト

• Globally Optimal Training of Spiking Neural Networks via Parameter Reconstruction [21.873941320853763]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる生物学的に妥当でエネルギー効率のよい代替手段として提案されている。 本稿では,SNN学習におけるパラメータ再構成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-08T17:10:08Z)
• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• SWAT-NN: Simultaneous Weights and Architecture Training for Neural Networks in a Latent Space [6.2241272327831485]
  ニューラルネットワークのアーキテクチャと重みを同時に最適化するフレームワークを提案する。 我々のフレームワークはまず、アーキテクチャ情報とパラメトリック情報の両方を連続的な潜在空間に埋め込む、普遍的なマルチスケールオートエンコーダを訓練する。 データセットが与えられたら、埋め込み空間内の点をランダムに初期化し、勾配降下によって更新して最適なニューラルネットワークを得る。
  論文  参考訳（メタデータ） (2025-06-09T22:22:37Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。