論文の概要: Effective Neural Network $L_0$ Regularization With BinMask

• arxiv url: http://arxiv.org/abs/2304.11237v1
• Date: Fri, 21 Apr 2023 20:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:44:46.394125
• Title: Effective Neural Network $L_0$ Regularization With BinMask
• Title（参考訳）: BinMaskによる効率的なニューラルネットワーク$L_0$正規化
• Authors: Kai Jia, Martin Rinard
• Abstract要約: 簡単な定式化である BinMask が有効$L_0$正則化であることを示す。 我々は,BinMaskを特徴選択,ネットワーク分割,モデル正規化の3つのタスクで評価する。
• 参考スコア（独自算出の注目度）: 15.639601066641099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $L_0$ regularization of neural networks is a fundamental problem. In addition to regularizing models for better generalizability, $L_0$ regularization also applies to selecting input features and training sparse neural networks. There is a large body of research on related topics, some with quite complicated methods. In this paper, we show that a straightforward formulation, BinMask, which multiplies weights with deterministic binary masks and uses the identity straight-through estimator for backpropagation, is an effective $L_0$ regularizer. We evaluate BinMask on three tasks: feature selection, network sparsification, and model regularization. Despite its simplicity, BinMask achieves competitive performance on all the benchmarks without task-specific tuning compared to methods designed for each task. Our results suggest that decoupling weights from mask optimization, which has been widely adopted by previous work, is a key component for effective $L_0$ regularization.
• Abstract（参考訳）: ニューラルネットワークの正規化は基本的な問題である。 より一般化可能なモデルの正規化に加えて、$L_0$正規化は入力特徴の選択やスパースニューラルネットワークのトレーニングにも適用される。 関連するトピックに関する多くの研究があり、いくつかは非常に複雑な方法がある。 本稿では,決定論的二項マスクと重みを乗算し,逆プロパゲーションに一意性ストレートスルー推定器を用いる簡単な定式化であるBinMaskが,有効な$L_0$正規化器であることを示す。 我々は,BinMaskを特徴選択,ネットワークスペーシング,モデル正規化の3つのタスクで評価する。 その単純さにもかかわらず、BinMaskは各タスク用に設計されたメソッドと比較して、タスク固有のチューニングなしで全てのベンチマークで競合性能を達成する。 その結果,これまで広く採用されてきたマスク最適化と重みを分離することが,l_0$正則化の有効成分であることが示唆された。

関連論文リスト

• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
  ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。 スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:34:04Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
  十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。 本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。 SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
  論文  参考訳（メタデータ） (2022-01-13T15:12:48Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Efficiently Learning Any One Hidden Layer ReLU Network From Queries [27.428198343906352]
  ネットワークへのブラックボックスアクセスを提供するニューラルネットワークアクティベーションを任意の1つの隠蔽層で学習するアルゴリズムを初めて提供する。 最悪のネットワークであっても、完全時間で効率を保証できるのはこれが初めてです。
  論文  参考訳（メタデータ） (2021-11-08T18:59:40Z)
• Masksembles for Uncertainty Estimation [60.400102501013784]
  ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。 深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
  論文  参考訳（メタデータ） (2020-12-15T14:39:57Z)
• Binary Stochastic Filtering: feature selection and beyond [0.0]
  この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。 提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
  論文  参考訳（メタデータ） (2020-07-08T06:57:10Z)
• PointINS: Point-based Instance Segmentation [117.38579097923052]
  POI(Point-of-Interest)機能によるインスタンスセグメンテーションにおけるマスク表現は、各インスタンスの高次元マスク機能を学ぶには、計算負荷が重いため、難しい。 本稿では、このマスク表現学習タスクを2つの抽出可能なモジュールに分解するインスタンス認識畳み込みを提案する。 インスタンス認識の畳み込みとともに、単純で実用的なインスタンスセグメンテーションアプローチであるPointINSを提案する。
  論文  参考訳（メタデータ） (2020-03-13T08:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。