論文の概要: Hyperspherical Loss-Aware Ternary Quantization

• arxiv url: http://arxiv.org/abs/2212.12649v1
• Date: Sat, 24 Dec 2022 04:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:40:55.384631
• Title: Hyperspherical Loss-Aware Ternary Quantization
• Title（参考訳）: 超球面ロスアウェア三元量子化
• Authors: Dan Liu, Xue Liu
• Abstract要約: 画像分類と物体検出の両タスクにおいて, 3次量子化の精度を大幅に向上できることを示す。 実験結果から,3次量子化の精度は画像分類と物体検出の両方において向上することが示された。
• 参考スコア（独自算出の注目度）: 12.90416661059601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of the existing works use projection functions for ternary quantization in discrete space. Scaling factors and thresholds are used in some cases to improve the model accuracy. However, the gradients used for optimization are inaccurate and result in a notable accuracy gap between the full precision and ternary models. To get more accurate gradients, some works gradually increase the discrete portion of the full precision weights in the forward propagation pass, e.g., using temperature-based Sigmoid function. Instead of directly performing ternary quantization in discrete space, we push full precision weights close to ternary ones through regularization term prior to ternary quantization. In addition, inspired by the temperature-based method, we introduce a re-scaling factor to obtain more accurate gradients by simulating the derivatives of Sigmoid function. The experimental results show that our method can significantly improve the accuracy of ternary quantization in both image classification and object detection tasks.
• Abstract（参考訳）: 既存の作品の多くは、離散空間における三元量子化に射影関数を用いる。 スケーリング係数としきい値がモデル精度を改善するために使用される場合もある。 しかし、最適化に使用される勾配は不正確であり、3次モデルと完全精度の差は顕著である。 より正確な勾配を得るために、温度に基づくシグモイド関数を用いて前方伝播パスの完全精度重みの離散部分を徐々に増加させる研究もある。 離散空間において三次量子化を直接実行する代わりに、三次量子化の前に正則化項を通じて三次量子化に近い完全精度の重みを押す。 さらに,温度に基づく手法に触発されて,シグモイド関数の導関数をシミュレートして,より正確な勾配を得るための再スケーリング係数を導入する。 本手法は,画像分類と物体検出の両方において,三元量子化の精度を著しく向上できることを示す。

関連論文リスト

• Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
  浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。 ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。 本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:02:55Z)
• Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing [1.6114012813668932]
  微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。 我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。 我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
  論文  参考訳（メタデータ） (2024-02-19T00:43:22Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Bosonic field digitization for quantum computers [62.997667081978825]
  我々は、離散化された場振幅ベースで格子ボゾン場の表現に対処する。 本稿では,エラースケーリングを予測し,効率的な量子ビット実装戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T15:30:04Z)
• FFD: Fast Feature Detector [22.51804239092462]
  特定のスケール空間領域にロバストで正確なキーポイントが存在することを示す。 スケールスペースピラミッドの滑らか度比とぼかしをそれぞれ2と0.627に設定することで、信頼性の高いキーポイントの検出が容易であることが証明された。
  論文  参考訳（メタデータ） (2020-12-01T21:56:35Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。