論文の概要: Random Cloud: Finding Minimal Neural Architectures Without Training

• arxiv url: http://arxiv.org/abs/2604.26830v1
• Date: Wed, 29 Apr 2026 15:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.475689
• Title: Random Cloud: Finding Minimal Neural Architectures Without Training
• Title（参考訳）: Random Cloud: トレーニングなしで最小限のニューラルネットワークを見つける
• Authors: Javier Gil Blázquez,
• Abstract要約: 最小限のフィードフォワードネットワークトポロジを発見するニューラルネットワーク探索のためのトレーニング不要アプローチを提案する。 フルトレイン・プルー・リトレインサイクルを必要とする後処理プルーニング法とは異なり,バックプロパゲーションを伴わないランダムネットワークの評価を行う。 等級プルーニングと無作為プルーニングベースラインに対する7つの分類基準の評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: I propose the \emph{Random Cloud} method, a training-free approach to neural architecture search that discovers minimal feedforward network topologies through stochastic exploration and progressive structural reduction. Unlike post-training pruning methods that require a full train-prune-retrain cycle, this method evaluates randomly initialized networks without backpropagation, progressively reduces their topology, and only trains the best minimal candidate at the end. I evaluate on 7 classification benchmarks against magnitude pruning and random pruning baselines. The Random Cloud matches or outperforms both baselines in 6 of 7 datasets, achieving statistically significant improvements on Sonar ($+4.9$pp accuracy, $p{=}0.017$ vs magnitude pruning) with 87\% parameter reduction. Crucially, the method is faster than both pruning baselines in 4 of 5 datasets (0.67--0.94$\times$ the cost of full training), since it avoids training the full-size network entirely.
• Abstract（参考訳）: 確率的探索と漸進的構造的還元により最小限のフィードフォワードネットワークトポロジーを発見するニューラルネットワーク探索のためのトレーニング不要な手法である \emph{Random Cloud} 法を提案する。 フルトレイン・プルー・リトレインサイクルを必要とする後処理プルーニング法とは異なり、バックプロパゲーションなしでランダムに初期化ネットワークを評価し、トポロジを徐々に減らし、最後に最も最小限の候補を訓練するのみである。 等級プルーニングと無作為プルーニングベースラインに対する7つの分類基準の評価を行った。 Random Cloudは7つのデータセットのうち6つのベースラインにマッチするか、より優れており、Sonarの統計的に重要な改善(+4.9$pp、$p{=}0.017$ vs magnitude pruning)を87.%のパラメータ削減で達成している。 重要なのは、フルサイズのネットワークを完全にトレーニングすることを避けるため、5つのデータセットのうち4つ(0.67--0.94$\times$)のベースラインの切断よりも高速である。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
  従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。 本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。 本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
  論文  参考訳（メタデータ） (2020-09-22T17:36:17Z)
• SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional Neural Networks Training [34.657942518465575]
  畳み込みニューラルネットワーク(CNN)の訓練は通常、大量の計算資源を必要とする。 そこで本論文では,SparseTrain を用いた CNN トレーニングの高速化について提案する。 我々は,CNNを textitSparseTrain にマッピングする %a の単純なコンパイラを構築した。
  論文  参考訳（メタデータ） (2020-07-21T11:01:36Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
  本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。 ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
  論文  参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。