Fugu-MT 論文翻訳(概要): Deep Hierarchical Learning with Nested Subspace Networks

論文の概要: Deep Hierarchical Learning with Nested Subspace Networks

arxiv url: http://arxiv.org/abs/2509.17874v1
Date: Mon, 22 Sep 2025 15:13:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-23 18:58:16.452423
Title: Deep Hierarchical Learning with Nested Subspace Networks
Title（参考訳）: Nested Subspace Networksを用いた階層学習
Authors: Paulius Rauba, Mihaela van der Schaar,
Abstract要約: 大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
参考スコア（独自算出の注目度）: 53.71337604556311
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large neural networks are typically trained for a fixed computational budget, creating a rigid trade-off between performance and efficiency that is ill-suited for deployment in resource-constrained or dynamic environments. Existing approaches to this problem present a difficult choice: training a discrete collection of specialist models is computationally prohibitive, while dynamic methods like slimmable networks often lack the flexibility to be applied to large, pre-trained foundation models. In this work, we propose Nested Subspace Networks (NSNs), a novel architectural paradigm that enables a single model to be dynamically and granularly adjusted across a continuous spectrum of compute budgets at inference time. The core of our approach is to re-parameterize linear layers to satisfy a nested subspace property, such that the function computed at a given rank is a strict subspace of the function at any higher rank. We show that this entire hierarchy of models can be optimized jointly via an uncertainty-aware objective that learns to balance the contributions of different ranks based on their intrinsic difficulty. We demonstrate empirically that NSNs can be surgically applied to pre-trained LLMs and unlock a smooth and predictable compute-performance frontier. For example, a single NSN-adapted model can achieve a 50% reduction in inference FLOPs with only a 5 percentage point loss in accuracy. Our findings establish NSNs as a powerful framework for creating the next generation of adaptive foundation models.
Abstract（参考訳）: 大規模ニューラルネットワークは通常、固定された計算予算のためにトレーニングされ、リソース制約や動的環境へのデプロイに不適なパフォーマンスと効率の間の厳密なトレードオフを生み出す。専門モデルの離散的なコレクションのトレーニングは計算的に禁じられているが、スリムなネットワークのような動的手法は、大規模で事前訓練された基礎モデルに適用できる柔軟性に欠けることが多い。本研究では,新しいアーキテクチャパラダイムであるNested Subspace Networks(NSNs)を提案する。我々のアプローチの核は、与えられたランクで計算された関数が任意の上位の関数の厳密な部分空間であるように、ネストした部分空間特性を満たすために線形層を再パラメータ化することである。モデル階層全体は、本質的な難易度に基づいて、異なるランクの貢献のバランスをとることを学ぶ不確実性を認識した目的によって、共同で最適化可能であることを示す。実験により,NSNは訓練済みのLLMに対して外科的に適用でき,スムーズで予測可能な計算性能フロンティアをアンロックできることを示した。例えば、1つのSN適応モデルでは、精度で5ポイントの損失しかなく、推論FLOPの50%の削減が達成できる。我々はNSNを次世代の適応基盤モデルを作成するための強力なフレームワークとして確立した。

関連論文リスト

Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
論文参考訳（メタデータ） (2025-02-23T10:11:38Z)
Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning [29.328769628694484]
連続学習のような関連するタスクのシーケンスを効果的に学習することは、ニューラルネットにとって重要な課題となる。ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。
論文参考訳（メタデータ） (2024-10-09T11:54:33Z)
SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
論文参考訳（メタデータ） (2023-09-01T05:12:25Z)
Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文参考訳（メタデータ） (2023-08-23T10:48:28Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文参考訳（メタデータ） (2020-07-15T11:21:31Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。