論文の概要: Binarizing by Classification: Is soft function really necessary?

• arxiv url: http://arxiv.org/abs/2205.07433v1
• Date: Mon, 16 May 2022 02:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 13:57:57.874068
• Title: Binarizing by Classification: Is soft function really necessary?
• Title（参考訳）: 分類によるバイナリ化:ソフト機能は本当に必要か?
• Authors: Yefei He, Luoming Zhang, Weijia Wu, Hong Zhou
• Abstract要約: COCOベースの分類器は理論上任意の連続関数に適合し、ネットワークとバックプロパゲート勾配を二項化するために適応的に学習される。 ImageNetデータセット上で、ResNet-34の65.7%のトップ1精度を実現し、2.8%の絶対的な改善を実現した。 挑戦的なMicrosoftキーポイントデータセットを評価する際、提案手法により、バイナリネットワークが初めて60.6のmAPを達成することができる。
• 参考スコア（独自算出の注目度）: 4.329951775163721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary neural network leverages the $Sign$ function to binarize real values, and its non-derivative property inevitably brings huge gradient errors during backpropagation. Although many hand-designed soft functions have been proposed to approximate gradients, their mechanism is not clear and there are still huge performance gaps between binary models and their full-precision counterparts. To address this, we propose to tackle network binarization as a binary classification problem and use a multi-layer perceptron (MLP) as the classifier. The MLP-based classifier can fit any continuous function theoretically and is adaptively learned to binarize networks and backpropagate gradients without any specific soft function. With this view, we further prove experimentally that even a simple linear function can outperform previous complex soft functions. Extensive experiments demonstrate that the proposed method yields surprising performance both in image classification and human pose estimation tasks. Specifically, we achieve 65.7% top-1 accuracy of ResNet-34 on ImageNet dataset, with an absolute improvement of 2.8%. When evaluating on the challenging Microsoft COCO keypoint dataset, the proposed method enables binary networks to achieve a mAP of 60.6 for the first time, on par with some full-precision methods.
• Abstract（参考訳）: binary neural networkは$sign$関数を利用して実値のバイナリ化を行い、その非導出性はバックプロパゲーション中に必然的に大きな勾配エラーをもたらす。 グラデーションを近似するために多くのハンドデザインソフト関数が提案されているが、そのメカニズムは明確ではなく、バイナリモデルと全精度モデルの間には大きな性能ギャップがある。 そこで本研究では,ネットワークのバイナリ化をバイナリ分類問題として扱い,マルチレイヤ・パーセプトロン(mlp)を分類器として用いることを提案する。 MLPベースの分類器は理論上任意の連続関数に適合し、特定のソフト関数を使わずにネットワークとバックプロパゲート勾配を二項化するために適応的に学習される。 この観点から、単純な線形関数でさえ、以前の複雑なソフト関数よりも優れていることを実験的に証明する。 大規模な実験により,提案手法は画像分類と人間のポーズ推定の双方において驚くべき性能を示した。 具体的には、ImageNetデータセット上でResNet-34の65.7%のトップ1精度を実現し、2.8%の絶対的な改善を実現した。 挑戦的なMicrosoft COCOキーポイントデータセットを評価する際、提案手法によりバイナリネットワークは、いくつかの完全精度の手法と同等に、初めて60.6のmAPを達成できる。

関連論文リスト

• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Provably Efficient Neural Offline Reinforcement Learning via Perturbed Rewards [33.88533898709351]
  VIPeRは、ランダム化された値関数のアイデアと悲観主義の原理を一致させる。 オフラインデータを複数回摂動することで、暗黙的に悲観性を得る。 ニューラルネットワーク関数近似を用いた一般的なマルコフ決定過程(MDP)において、証明可能かつ計算的に効率的である。
  論文  参考訳（メタデータ） (2023-02-24T17:52:12Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• QuantNet: Learning to Quantize by Learning within Fully Differentiable Framework [32.465949985191635]
  本稿では,QuantNetというメタベースの量子化器を提案する。 本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
  論文  参考訳（メタデータ） (2020-09-10T01:41:05Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。