論文の概要: InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2606.18676v1
• Date: Wed, 17 Jun 2026 04:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.002096
• Title: InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search
• Title（参考訳）: InTrain: Zero-Cost Neural Architecture Searchの本質的なトレーニング性
• Authors: Qinqin Zhou, Fuhai Chen, Jipeng Wu, Zhiwei Chen, Zhikai Hu, Weiwei Cai,
• Abstract要約: ニューラル情報処理の分析により、本質的な訓練性を運用する。 InTrainは、最先端のアンサンブルベースのプロキシと同等の相関をランク付けし、他のシングルメトリックメソッドよりも優れている。
• 参考スコア（独自算出の注目度）: 18.006142809073044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free neural architecture search promises efficient discovery of high-performance networks without costly training. However, existing zero-cost proxies rely on fragmented heuristics that fail to capture the fundamental question: what makes an architecture trainable? This paper introduces Intrinsic Trainability (InTrain), a unified theoretical proxy that formalizes trainability as an architectural invariant emerging from two synergistic components: geometric capacity and optimization resilience. We operationalize intrinsic trainability through analysis of neural information processing. Geometric capacity is quantified via the participation ratio of activation covariance eigenspectrum, capturing the effective dimensionality of representation manifolds. Optimization resilience is measured through cumulative gradient health, assessing the robustness of backpropagation across network depth. InTrain synthesizes these dimensions through a scale-invariant multiplicative coupling, which we hypothesize is essential for capturing their synergistic, non-additive relationship. Extensive experiments on standard NAS benchmarks and search spaces demonstrate that InTrain achieves ranking correlations on par with state-of-the-art ensemble-based proxies and outperforms other single-metric methods.
• Abstract（参考訳）: トレーニング不要なニューラルネットワーク探索は、コストのかかるトレーニングを伴わずに、高性能ネットワークの効率的な発見を約束する。 しかし、既存のゼロコストプロキシは、基本的な疑問を捉えない断片化されたヒューリスティックに依存している。 Intrinsic Trainability (InTrain)は,2つの相乗的成分(幾何学的キャパシティと最適化のレジリエンス)から生じるアーキテクチャ的不変量としてトレイン性を形式化する,統一的な理論的プロキシである。 ニューラル情報処理の分析により、本質的な訓練性を運用する。 幾何キャパシティは、活性化共分散固有スペクトルの参加比によって定量化され、表現多様体の有効次元を捉える。 最適化のレジリエンスは累積勾配の健康を通じて測定され、ネットワーク奥行きのバックプロパゲーションの堅牢性を評価する。 InTrainは、これらの次元をスケール不変な乗法的カップリングを通じて合成するが、これはそれらの相乗的、非加法的関係を捉えるのに不可欠である。 標準NASベンチマークとサーチスペースの広範な実験により、InTrainは最先端のアンサンブルベースのプロキシと同等のランキング相関を達成し、他のシングルメトリックメソッドより優れていることが示された。

関連論文リスト

• Globally Optimal Training of Spiking Neural Networks via Parameter Reconstruction [21.873941320853763]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる生物学的に妥当でエネルギー効率のよい代替手段として提案されている。 本稿では,SNN学習におけるパラメータ再構成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-08T17:10:08Z)
• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Neural Networks with Orthogonal Jacobian [10.111901389604423]
  非常に深いニューラルネットワークは、リッチで階層的な特徴を抽出することで最先端のパフォーマンスを達成する。 バックプロパゲーションによるトレーニングは、しばしば消滅または爆発的な勾配によって妨げられる。 非線形フィードフォワードおよび残差ネットワークの幅広いクラスを記述する統一的な数学的枠組みを導入する。
  論文  参考訳（メタデータ） (2025-08-04T20:24:49Z)
• Ray-Tracing for Conditionally Activated Neural Networks [4.9844734080376725]
  本稿では,エキスパートアクティベーションの最適化構成に収束するサンプリング機構を備えた,条件付き活性化ニューラルネットワークのための新しいアーキテクチャを提案する。 実験により,本手法は従来のベースラインに比べて競争精度が高いことが示された。
  論文  参考訳（メタデータ） (2025-02-20T18:09:03Z)
• Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
  トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。 本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。 トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-25T20:22:06Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths [12.068608358926317]
  1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。 2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。 以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-20T22:10:40Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。