論文の概要: Effective Subset Selection Through The Lens of Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2406.01086v1
• Date: Mon, 3 Jun 2024 08:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:58:18.637206
• Title: Effective Subset Selection Through The Lens of Neural Network Pruning
• Title（参考訳）: ニューラルネットワークプルーニングのレンズによる効果的なサブセット選択
• Authors: Noga Bar, Raja Giryes,
• Abstract要約: 注釈付きデータを賢明に選択することが重要であり、これは部分集合選択問題として知られている。 より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討する。 ニューラルネットワークの特徴のノルム基準を利用して、サブセット選択法を改善することを提案する。
• 参考スコア（独自算出の注目度）: 31.43307762723943
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Having large amounts of annotated data significantly impacts the effectiveness of deep neural networks. However, the annotation task can be very expensive in some domains, such as medical data. Thus, it is important to select the data to be annotated wisely, which is known as the subset selection problem. We investigate the relationship between subset selection and neural network pruning, which is more widely studied, and establish a correspondence between them. Leveraging insights from network pruning, we propose utilizing the norm criterion of neural network features to improve subset selection methods. We empirically validate our proposed strategy on various networks and datasets, demonstrating enhanced accuracy. This shows the potential of employing pruning tools for subset selection.
• Abstract（参考訳）: 大量の注釈付きデータを持つことは、ディープニューラルネットワークの有効性に大きな影響を及ぼす。 しかし、医療データなど一部の領域では、アノテーションタスクは非常に高価である可能性がある。 したがって、アノテートするデータを賢明に選択することが重要であり、これはサブセット選択問題として知られている。 より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討し,それらの対応性を確立する。 ネットワークプルーニングからの洞察を活用し,ニューラルネットワーク特徴のノルム基準を利用してサブセット選択法を改善することを提案する。 提案手法を様々なネットワークやデータセット上で実証的に検証し,精度を向上した。 これは、サブセットの選択にプルーニングツールを使う可能性を示している。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
  対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。 これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
  論文  参考訳（メタデータ） (2024-02-05T16:09:35Z)
• Much Easier Said Than Done: Falsifying the Causal Relevance of Linear Decoding Methods [1.3999481573773074]
  線形分類器プローブは、高い選択性を持つユニットをネットワーク機能にとって最も重要なものとして識別する。 選択的ニューロンに対するアブレーション効果がないにもかかわらず、線形復号法はネットワーク機能の解釈に効果的に利用できる。 具体的には,AlexNet,VGG16,MobileNetV2,ResNet101のユニット群において,選択性とユニットの平均活動の相互作用がアブレーション性能の低下を予測できることを示す。
  論文  参考訳（メタデータ） (2022-11-08T16:43:02Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• The Yin-Yang dataset [0.0]
  Yin-Yangデータセットは、スパイキングニューラルネットワークにおける生物学的に妥当なエラーバックプロパゲーションとディープラーニングの研究のために開発された。 これは、いくつかの利点を提供することで、古典的なディープラーニングデータセットに代わる役割を果たします。
  論文  参考訳（メタデータ） (2021-02-16T15:18:05Z)
• Consistent Feature Selection for Analytic Deep Neural Networks [3.42658286826597]
  分析深層ネットワークにおける特徴選択の問題について検討する。 我々は、広範囲のネットワークに対して、グループラッソによる適応群ラッソ選択手順が選択整合であることを証明する。 この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率であることのさらなる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-16T01:59:53Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Consistent feature selection for neural networks via Adaptive Group Lasso [3.42658286826597]
  ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
  論文  参考訳（メタデータ） (2020-05-30T18:50:56Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。