論文の概要: NGN: Learning Neural Network Size as a Differentiable Count

• arxiv url: http://arxiv.org/abs/2609.27291v1
• Date: Wed, 23 Sep 2026 03:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.857057
• Title: NGN: Learning Neural Network Size as a Differentiable Count
• Title（参考訳）: NGN: ニューラルネットワークのサイズを微分可能な数として学習する
• Abstract要約: 我々は,モデルが使用する秩序構造部品の数を学習するためのパラメータ化として,NGN(Neurogenesis Network)を紹介した。 順序付けられた各コンポーネント群に対して、1つの学習可能な境界は、モデルパラメータがトレーニングされている間にアクティブプレフィックスを選択する。 制御された実験は、学習境界の収束、展開プレフィックスの性能、および固定サイズモデルとの比較について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network size is usually chosen before training, separating architecture selection from weight optimization. We introduce the Neurogenesis Network (NGN), a differentiable parameterization for learning how many ordered structural components a model should use. For each ordered component group, one learnable boundary selects an active prefix while the model parameters are trained. The boundary can grow from a compact initialization and can be deployed by discarding components beyond the learned boundary. Controlled experiments examine convergence of the learned boundary, the performance of deployed prefixes, and comparisons with fixed-size models and alternative approaches to learning capacity. We then apply the same mechanism to MLPs, convolutional and graph networks, Transformers, state-space models, LoRA, and adapters. Across these settings, deploying only the learned prefix usually changes performance little, and the selected architectures perform similarly to fixed models trained at the same size. These results show that structural capacity can be optimized directly as a count.
• Abstract（参考訳）: ニューラルネットワークのサイズは通常、トレーニング前に選択され、アーキテクチャの選択と重量最適化を分離する。 我々は,モデルが使用する秩序構造部品の数を学習するためのパラメータ化として,NGN(Neurogenesis Network)を紹介した。 順序付けられた各コンポーネント群に対して、1つの学習可能な境界は、モデルパラメータがトレーニングされている間にアクティブプレフィックスを選択する。 境界はコンパクトな初期化から成長し、学習された境界を越えてコンポーネントを破棄することで展開することができる。 制御された実験では, 学習境界の収束, 展開プレフィックスの性能, 固定サイズモデルとの比較, 学習能力に対する代替的アプローチについて検討した。 次に、MPP、畳み込み、グラフネットワーク、トランスフォーマー、状態空間モデル、LoRA、アダプタに同じメカニズムを適用します。 これらの設定全体では、学習したプレフィックスのみのデプロイはパフォーマンスをほとんど変更せず、選択されたアーキテクチャは、同じサイズでトレーニングされた固定モデルと同じようなパフォーマンスを持つ。 これらの結果から, 構造容量をカウントとして直接最適化できることが示唆された。

関連論文リスト

• Differentiable Kernel Ridge Regression for Deep Learning Pipelines [2.1485350418225244]
  我々は、カーネルリッジ回帰(KRR)の微分可能、局所化、遅延変異であるemphSparse Kernels (SKs)を導入する。 SKは3つの異なるパラメータセット(特徴表現、ターゲット値、評価ポイント)を公開し、それぞれを修正あるいは学習することができる。 この結果から,一度スケーラブルで差別化可能なカーネルメソッドが,ディープラーニングと容易に統合できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-04T08:13:08Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Generative Model for Models: Rapid DNN Customization for Diverse Tasks and Resource Constraints [28.983470365172057]
  NN-Factoryは、さまざまなエッジシナリオ用にカスタマイズされた軽量モデルを生成する、オールツーオールのフレームワークである。 NN-Factoryの主なコンポーネントは、異なるタスクを達成するために条件付きアクティベート可能な、事前訓練されたモジュールを備えたモジュラースーパーネットである。 NN-Factoryは、従来のモデルのカスタマイズアプローチよりも桁違いに高速で、数秒で高品質なタスクやリソース固有のモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-08-29T03:28:14Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。