論文の概要: Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone

• arxiv url: http://arxiv.org/abs/2609.23087v1
• Date: Sat, 19 Sep 2026 15:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.67387
• Title: Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone
• Title（参考訳）: ニューラルスペクトル容量:ネットワーク仕様からアーキテクチャを計測・設計する
• Abstract要約: ニューラルスペクトル容量 (Neural Spectral Capacity, NSC) は、各重み行列の特異値スペクトルに接する閉形スカラーである。 NSCは、#Params、#FLOPs、および7つのトランスフォーマーおよびCNNファミリのランク付けにおいて、トレーニングなしのプロキシを上回ります。
• 参考スコア（独自算出の注目度）: 22.260578529078103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Transformer design and compression both reduce to allocating capacity under a budget. The standard scalars for these decisions, #Params and #FLOPs, capture size and compute but not architectural structure: two architectures with identical parameter budgets but different depth-width, head, or FFN allocations receive identical scores yet behave differently. We propose Neural Spectral Capacity (NSC), a closed-form scalar grounded in the singular-value spectrum of each weight matrix. Under standard random initialization, the Marchenko-Pastur law renders NSC computable from the architectural specification alone, with no model instantiation, data, or gradients. Its layer-wise additive structure admits NSC-DP, an exact dynamic-programming solver returning the architecture globally maximizing NSC under resource constraints in seconds on a CPU -- a guarantee that black-box search over existing training-free proxies cannot provide. Empirically, NSC outperforms #Params, #FLOPs, and representative training-free proxies in ranking across seven Transformer and CNN families (on FlexiBERT, $τ= 0.505$ on pairs differing in #Params by less than 10%, where #Params collapses to 0.082); NSC-DP discovers a Transformer-XL architecture on WikiText-103 that beats the human-designed baseline in 2 seconds; and prunes LLaMA-7B to the best 5.7B model across eight commonsense reasoning tasks without any calibration data, about 5900x faster than the strongest training-free proxy baseline.
• Abstract（参考訳）: 現代のトランスフォーマーの設計と圧縮はどちらも予算の下で容量を割り当てることに還元される。 これらの決定の標準的なスカラーである#Paramsと#FLOPsは、サイズと計算をキャプチャするが、アーキテクチャ構造ではない:同じパラメータ予算を持つが、深さ幅、ヘッド、FFNの割り当てが異なる2つのアーキテクチャは、同じスコアを受け取るが、異なる振る舞いをする。 重み行列の特異値スペクトルに接地した閉形スカラーであるニューラルスペクトル容量(NSC)を提案する。 標準的なランダム初期化の下では、マーチンコ・パストゥル法は、モデルインスタンス化、データ、勾配を伴わず、アーキテクチャ仕様のみから計算可能である。 レイヤワイドの付加構造は、NPC-DP(NSC-DP)を認めている。NSCは、CPU上のリソース制約下で数秒で、アーキテクチャをグローバルに最大化する、動的プログラミングの解法である。 経験的に、NSCは、#Params、#FLOPs、および7つのトランスフォーマーおよびCNNファミリ(FlexiBERT、$τ=0.505$)のランク付けにおいて#Params、#Paramsが0.082に崩壊する)、NSC-DPは、人間設計ベースラインを2秒で打ち負かすWikiText-103上のTransformer-XLアーキテクチャを発見し、LLaMA-7Bは、キャリブレーションデータなしで8つの常識推論タスクで最高の5.7Bモデルに到達し、最強のトレーニングフリーベースラインよりも約5900倍高速である。

関連論文リスト

• Bi-EZP: LLM-Guided Bilevel Program Evolution for Ensemble Zero-Cost Proxy Discovery [2.751603258501323]
  Bi-EZPは、プログラム発見と数値キャリブレーションを分離するバイレベルフレームワークである。 その結果,プログラム発見と数値キャリブレーションの分離は,ゼロコストプロキシの自動アンサンブル構築に有効な手法であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-22T11:34:35Z)
• BluTrain: A C++/CUDA Framework for AI Systems [2.79727705929128]
  BluTrainは、標準C++とコアプログラミングモデルにおける、堅牢で軽量、アーキテクチャ全般的なトレーニングフレームワークである。 正式な評価では、BluTrainはスループットとメモリ効率の両方において業界標準ベースラインを上回っている。 すべてのレイヤがネイティブチューニングに明示的にオープンになっているため、パフォーマンスの天井は、フレームワークが挙げるべきものなのです。
  論文  参考訳（メタデータ） (2026-06-23T16:39:25Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability [48.83701310501069]
  大規模言語モデル(LLM)は、反復型ニューラルアーキテクチャサーチ(NAS)におけるジェネレータとしてますます使われている。 我々は,LCM-NASを,実行可能プログラム上でのパラメトリッククロスエントロピー(CE)法としてモデル化する。 我々は,(1)エリートアーキテクチャの反復LEM微調整は,LLMファミリーに制限されたCE更新と同等であり,(2)期待されるアーキテクチャ品質はサイクル毎に単調に低下せず,(3)エリートセットの確率は幾何率で一定点に収束する,という6つの結果を示した。
  論文  参考訳（メタデータ） (2026-05-28T15:45:19Z)
• SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation [3.1313965020437546]
  SIMPLERは,予測とデプロイメントのコストを削減できるアーキテクチャ選択手法である。 Prithvi-EO-2では、SIMPLERは最大79%のパラメータを持ち、ベースライン性能は94%であり、2.1倍のトレーニングスピードアップと2.6倍の推論スピードアップをもたらす。
  論文  参考訳（メタデータ） (2026-03-20T11:38:32Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。