論文の概要: Neural Spectral Capacity with Residual Context for Heterogeneous Resource Allocation within Transformers

• arxiv url: http://arxiv.org/abs/2610.30823v1
• Date: Thu, 22 Oct 2026 06:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.26296
• Title: Neural Spectral Capacity with Residual Context for Heterogeneous Resource Allocation within Transformers
• Title（参考訳）: 変圧器内不均一資源配置のための残留文脈をもつニューラルスペクトル容量
• Abstract要約: トランスフォーマーのためのResNSC(Residual-Aware Neural Spectral Capacity)を提案する。 ResNSCは、入力および残状態統計を決定するために、蓄積された残状態更新のために仕様由来の統計参照を使用する。 121Mと374Mの事前訓練スケールでは、選択されたアーキテクチャは、均一、可変幅、テーパ付きアロケーションよりも平均パープレキシティが低い。
• 参考スコア（独自算出の注目度）: 22.260578529078103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting relative trained performance from architectural specifications can guide design when training costs limit experimentation. Neural Spectral Capacity (NSC) provides such a heuristic, but scores projections independently and assigns identical scores to compatible reorderings of the same layer configurations. We introduce Residual-Aware Neural Spectral Capacity (ResNSC) for Transformers, using a specification-derived statistical reference for accumulated residual updates to determine the input and residual-state statistics in each projection's capacity calculation, while retaining additive evaluation without data or instantiated weights. When residual widths vary, earlier choices affect later scores, so we augment NSC's allocator (NSC-DP) with residual history beyond its layer-and-budget state. ResNSC-DP jointly allocates residual and feed-forward widths under a resource budget, with certified bounds on the best numerically evaluated ResNSC score within a specified finite candidate set. At the 121M and 374M pretraining scales, selected architectures achieve lower mean perplexity than uniform, variable-width, and tapered allocations on FineWeb-Edu, WikiText-2, and LAMBADA at comparable parameter budgets. In inherited-weight LLaMA-7B pruning using the LoNAS supernet, ResNSC-DP improves eight-task average accuracy over NSC by 3.28--5.46 percentage points across eight matched parameter budgets. Paired reversals preserve the projection shapes and NSC scores yet worsen performance in both settings, exposing performance differences hidden by position-independent scoring. The code for this work is available at https://github.com/Optima-CityU/neural-spectral-capacity.
• Abstract（参考訳）: アーキテクチャ仕様から比較的訓練されたパフォーマンスを予測することは、トレーニングコストが実験を制限する場合に設計をガイドすることができる。 Neural Spectral Capacity (NSC)はそのようなヒューリスティックを提供するが、プロジェクションを独立にスコアし、同じレイヤ構成の互換性のあるリオーダーに同じスコアを割り当てる。 本稿では,トランスフォーマーに対するResidual-Aware Neural Spectral Capacity (ResNSC)を導入し,各プロジェクションのキャパシティ計算における入力および残状態統計を,データやインスタンス化重みなしで付加的評価を維持しつつ,蓄積した残差更新に対する仕様由来統計基準を用いて検討する。 残余幅が変化すると、初期選択は後続のスコアに影響を及ぼすため、NSCのアロケータ(NSC-DP)を、その層・予算状態を超えた残史で増強する。 ResNSC-DPは、リソース予算の下で、残差とフィードフォワード幅を共同で割り当て、指定された有限候補セット内で、最も数値的に評価されたResNSCスコアの認定境界を持つ。 121Mと374Mの事前トレーニングスケールにおいて、選択されたアーキテクチャは、同等のパラメータ予算でFineWeb-Edu、WikiText-2、LAMBADA上の均一、可変幅、テーパ付きアロケーションよりも平均パープレキシティが低い。 LoNASスーパーネットを用いたLLaMA-7Bプルーニングにおいて、ResNSC-DPは8つのパラメータ予算でNSCの8タスク平均精度を3.28～5.46ポイント向上させる。 Paired Reversalsはプロジェクションの形状を保ち、NSCスコアは両方の設定のパフォーマンスを悪化させ、位置に依存しないスコアによって隠されたパフォーマンスの違いを露呈する。 この研究のコードはhttps://github.com/Optima-CityU/neural-spectral-capacityで公開されている。

関連論文リスト

• Adaptive Robust Confidence Sets in High Dimensions [60.353542776481596]
  本研究では,不確実性を同時に定量化することにより,情報理論的に最適な適応信頼セットを構築することができることを示す。 統計的には最適であるが、この構成は計算的に不可能である。
  論文  参考訳（メタデータ） (2026-10-11T16:00:46Z)
• Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone [22.260578529078103]
  ニューラルスペクトル容量 (Neural Spectral Capacity, NSC) は、各重み行列の特異値スペクトルに接する閉形スカラーである。 NSCは、#Params、#FLOPs、および7つのトランスフォーマーおよびCNNファミリのランク付けにおいて、トレーニングなしのプロキシを上回ります。
  論文  参考訳（メタデータ） (2026-09-19T15:46:26Z)
• Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs [3.7044133020722954]
  Online Kernel Supervised principal Component Analysis (OKSPCA)は、有限乱数係数座標における中心となるクロスモーメントと、確立された目的に対するAdamスタイルの正則基底更新を組み合わせたものである。 有限乱数係数座標における中心的クロスモーメントと、確立された目的に対するAdamスタイルの正規直交基底更新を組み合わせたOKSPCAについて、これらの区別について検討する。
  論文  参考訳（メタデータ） (2026-09-17T14:19:29Z)
• Feature-Spectral Fragility in Segmentation: Dataset Dependence, Architecture-Specific Localization, and Spectral Correlates [0.0]
  学習した特徴表現の周波数依存性を学習後低域介入を用いて調査する。 CNN、SSM、Transformerはそれぞれ100%、73.2%、30.9%減少し、ISICでは9.4%、10.3%、0.6%となっている。 ネイティブな特徴領域スペクトル測定は、CVCにおける高周波エネルギーと不安定性の逆相関を示す。
  論文  参考訳（メタデータ） (2026-08-29T09:33:45Z)
• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• A time-series classification framework for individual-level absenteeism prediction under severe class imbalance [0.0]
  従業員欠勤は、需要の高い労働環境において相当な運用コストを課す。 本稿では,過去の出席順序を将来の不在ラベルから分離する時系列分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-30T11:44:52Z)
• Quantization of Spiking Neural Networks Beyond Accuracy [3.43677310385818]
  本研究では,SNNにおける有効空間,状態記憶,イベント処理負荷を,射撃活動が制御していることを示す。 本研究では, 分布のばらつきを診断する指標として, アースモーバー距離を提案する。 均一な量子化は精度を保った場合でも分布のドリフトを引き起こすが、LQ-Netスタイルの学習した量子化は全精度ベースラインに近い発火挙動を維持する。
  論文  参考訳（メタデータ） (2026-04-15T23:55:11Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。