論文の概要: Directly Constructing Low-Dimensional Solution Subspaces in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2512.23410v1
• Date: Mon, 29 Dec 2025 12:13:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.485857
• Title: Directly Constructing Low-Dimensional Solution Subspaces in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける低次元解部分空間の直接構成
• Authors: Yusuf Kalyoncuoglu,
• Abstract要約: この研究はTrainspace Sub-Native Distillationの新しいパラダイムを提供する。 無視可能な部分空間を直接定義することにより、学生劣化の探索を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While it is well-established that the weight matrices and feature manifolds of deep neural networks exhibit a low Intrinsic Dimension (ID), current state-of-the-art models still rely on massive high-dimensional widths. This redundancy is not required for representation, but is strictly necessary to solve the non-convex optimization search problem-finding a global minimum, which remains intractable for compact networks. In this work, we propose a constructive approach to bypass this optimization bottleneck. By decoupling the solution geometry from the ambient search space, we empirically demonstrate across ResNet-50, ViT, and BERT that the classification head can be compressed by even huge factors of 16 with negligible performance degradation. This motivates Subspace-Native Distillation as a novel paradigm: by defining the target directly in this constructed subspace, we provide a stable geometric coordinate system for student models, potentially allowing them to circumvent the high-dimensional search problem entirely and realize the vision of Train Big, Deploy Small.
• Abstract（参考訳）: ディープニューラルネットワークの重み行列と特徴多様体が低内在次元(ID)を示すことはよく確立されているが、現在の最先端モデルは依然として巨大な高次元幅に依存している。 この冗長性は表現には必要ないが、非凸最適化探索問題の解決には厳密に必要である。 本研究では,この最適化ボトルネックを回避するための建設的手法を提案する。 周辺探索空間から解の幾何を分離することにより、ResNet-50, ViT, BERT に対して、分類ヘッドが無視できない性能劣化を伴う16の大きい因子で圧縮可能であることを実証的に示す。 本研究は,この構築された部分空間に直接ターゲットを定義することによって,学生モデルのための安定な幾何座標系を提供し,高次元探索問題を完全に回避し,Train Big,Deploy Smallのビジョンを実現する。

関連論文リスト

• Learning Topology-Driven Multi-Subspace Fusion for Grassmannian Deep Network [31.003374497881968]
  グラスマン多様体は幾何学的表現学習のための強力なキャリアを提供する。 本稿では,グラスマン多様体上での適応的部分空間協調を実現するトポロジ駆動型多部分空間融合フレームワークを提案する。 我々の研究は幾何学的深層学習を推進し、ユークリッドネットワークの証明されたマルチチャネル相互作用の哲学を非ユークリッド領域に適用する。
  論文  参考訳（メタデータ） (2025-11-09T10:33:13Z)
• Connecting Independently Trained Modes via Layer-Wise Connectivity [0.4094848360328623]
  本稿では,従来のアーキテクチャを超越して一般化した,独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。 より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続経路を得る。
  論文  参考訳（メタデータ） (2025-05-05T12:16:55Z)
• Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
  本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。 本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
  論文  参考訳（メタデータ） (2023-11-08T23:57:03Z)
• Data-Free Learning of Reduced-Order Kinematics [54.85157881323157]
  画像が多様だが低エネルギーな構成のサブ多様体をパラメータ化する低次元マップを作成する。 サブスペースを低次元潜在ベクトルを全構成空間にマッピングするニューラルネットワークとして表現する。 この定式化は、非常に一般的な物理系において有効である。
  論文  参考訳（メタデータ） (2023-05-05T20:53:36Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• High-dimensional Convolutional Networks for Geometric Pattern Recognition [75.43345656210992]
  本稿では,パターン認識問題に対する高次元畳み込みネットワーク(ConvNet)を提案する。 まず,32次元の高次元空間における線形部分空間の検出における畳み込みネットワークの有効性について検討した。 次に、剛体運動下での3次元登録と画像対応推定に高次元のConvNetを適用する。
  論文  参考訳（メタデータ） (2020-05-17T01:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。