論文の概要: Random Search as a Baseline for Sparse Neural Network Architecture Search

• arxiv url: http://arxiv.org/abs/2403.08265v1
• Date: Wed, 13 Mar 2024 05:32:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:15:52.962441
• Title: Random Search as a Baseline for Sparse Neural Network Architecture Search
• Title（参考訳）: スパースニューラルネットワークアーキテクチャのベースラインとしてのランダム探索 検索
• Authors: Rezsa Farahani
• Abstract要約: スパースニューラルネットワークは、密度の高いニューラルネットワークと同じような、あるいはより良い一般化性能を示している。 本研究では,適切なスパース構成を見つけるための評価手法と,ランダム検索の簡易なベースライン手法を提案する。 本研究では,このアーキテクチャ探索タスクにおいて,ランダム検索が検出したスパースネットワークは,ランダム検索よりも効率良く,効率的に収束しないことを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse neural networks have shown similar or better generalization performance than their dense counterparts while having higher parameter efficiency. This has motivated a number of works to learn, induce, or search for high performing sparse networks. While reports of quality or efficiency gains are impressive, standard baselines are lacking, therefore hindering having reliable comparability and reproducibility across methods. In this work, we provide an evaluation approach and a naive Random Search baseline method for finding good sparse configurations. We apply Random Search on the node space of an overparameterized network with the goal of finding better initialized sparse sub-networks that are positioned more advantageously in the loss landscape. We record sparse network post-training performances at various levels of sparsity and compare against both their fully connected parent networks and random sparse configurations at the same sparsity levels. We observe that for this architecture search task, initialized sparse networks found by Random Search neither perform better nor converge more efficiently than their random counterparts. Thus we conclude that Random Search may be viewed as a suitable neutral baseline for sparsity search methods.
• Abstract（参考訳）: スパースニューラルネットワークは、高パラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い一般化性能を示している。 これは、高性能なスパースネットワークを学習、誘導、探索するための多くの研究の動機となった。 品質や効率の向上に関する報告は印象的だが、標準ベースラインが欠如しているため、メソッド間の信頼性の高い互換性と再現性を妨げている。 本研究では,優れたスパース構成を見つけるための評価手法と,素早いランダム検索ベースライン手法を提案する。 オーバパラメータ化されたネットワークのノード空間にランダム探索を適用し、ロスランドスケープにおいてより有利な位置に位置するより優れた初期化スパースサブネットワークを見つけることを目的としている。 我々は,スパース・ネットワーク・ポストトレーニングの性能を様々なレベルにおいて記録し,完全に接続された親ネットワークと同一のスパース・レベルにおけるランダム・スパース・コンフィグレーションを比較した。 本研究では,このアーキテクチャ探索タスクにおいて,ランダムサーチが検出したスパースネットワークが,ランダムサーチよりも効率良く,効率的に収束しないことを示す。 そこで我々は,ランダム探索を空間探索法に適した中立ベースラインと見なすことができると結論付けた。

関連論文リスト

• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
  ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。 スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:34:04Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Community detection using low-dimensional network embedding algorithms [1.052782170493037]
  我々はDeepWalkとnode2vecという2つの主要なアルゴリズムが、標準ネットワークモデルのためのコミュニティを回復する際の性能を厳格に理解している。 固定された共起窓を考えると、非追跡確率の低いランダムウォークを用いた node2vec は、多くのスペーサーネットワークで成功することを示す。
  論文  参考訳（メタデータ） (2021-11-04T14:57:43Z)
• A Sparse Structure Learning Algorithm for Bayesian Network Identification from Discrete High-Dimensional Data [0.40611352512781856]
  本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。 本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。 具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
  論文  参考訳（メタデータ） (2021-08-21T12:21:01Z)
• Combined Depth Space based Architecture Search For Person Re-identification [70.86236888223569]
  個人再識別(ReID)のための軽量で適切なネットワークの設計を目指しています。 本研究では,CDNetと呼ばれる効率的なネットワークアーキテクチャの探索に基づく,複合深さ空間(Componed Depth Space, CDS)と呼ばれる新しい検索空間を提案する。 そこで我々はTop-k Sample Search戦略という低コストの検索戦略を提案し、検索空間をフル活用し、局所的な最適結果のトラップを避ける。
  論文  参考訳（メタデータ） (2021-04-09T02:40:01Z)
• Neural Architecture Search as Sparse Supernet [78.09905626281046]
  本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
  論文  参考訳（メタデータ） (2020-07-31T14:51:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。