論文の概要: Predicting High-precision Depth on Low-Precision Devices Using 2D Hilbert Curves

• arxiv url: http://arxiv.org/abs/2405.14024v2
• Date: Sat, 18 Oct 2025 12:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:01.878024
• Title: Predicting High-precision Depth on Low-Precision Devices Using 2D Hilbert Curves
• Title（参考訳）: 2次元ヒルベルト曲線を用いた高精度デバイスにおける高精度深さ予測
• Authors: Mykhailo Uss, Ruslan Yermolenko, Oleksii Shashko, Olena Kolodiazhna, Ivan Safonov, Volodymyr Savin, Yoonjae Yeo, Seowon Ji, Jaeyun Jeong,
• Abstract要約: ディープニューラルネットワーク(DNN)は、単眼と双眼の両方のデータに対して印象的な結果を得た。 これらは高い計算複雑性によって制限され、ローエンドデバイスでの使用を制限する。 低ビット精度予測から高精度深度を復元することを提案する。
• 参考スコア（独自算出の注目度）: 2.076845464422163
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dense depth prediction deep neural networks (DNN) have achieved impressive results for both monocular and binocular data, but still they are limited by high computational complexity, restricting their use on low-end devices. For better on-device efficiency and hardware utilization, weights and activations of the DNN should be converted to low-bit precision. However, this precision is not sufficient to represent high dynamic range depth. In this paper, we aim to overcome this limitation and restore high-precision depth from low-bit precision predictions. To achieve this, we propose to represent high dynamic range depth as two low dynamic range components of a Hilbert curve, and to train the full-precision DNN to directly predict the latter. For on-device deployment, we use standard quantization methods and add a post-processing step that reconstructs depth from the Hilbert curve components predicted in low-bit precision. Extensive experiments demonstrate that our method increases the bit precision of predicted depth by up to three bits with little computational overhead. We also observed a positive side effect of quantization error reduction by up to 4.6 times. Our method enables effective and accurate depth prediction with DNN weights and activations quantized to eight-bit precision.
• Abstract（参考訳）: 深度予測深度ニューラルネットワーク(DNN)は、単眼と双眼の両方のデータに対して印象的な結果を得たが、それでも高い計算複雑性によって制限され、ローエンドデバイスでの使用が制限されている。 デバイス上での効率とハードウェア利用を改善するために、DNNの重みとアクティベーションを低ビットの精度に変換する必要がある。 しかし、この精度は高いダイナミックレンジ深さを表すには不十分である。 本稿では,この制限を克服し,低ビット精度予測から高精度深度を復元することを目的とする。 これを実現するために,ヒルベルト曲線の2つの低ダイナミックレンジ成分として高ダイナミックレンジ深度を表現し,後者を直接予測するために完全精度DNNを訓練することを提案する。 低ビット精度で予測されるヒルベルト曲線成分から深度を再構成する,標準量子化法と後処理ステップを追加する。 大規模な実験により,予測深さのビット精度が最大3ビット向上し,計算オーバーヘッドが少なくなった。 また、量子化誤差の最大4.6倍の正の副作用も観察した。 DNN重みとアクティベーションを8ビット精度で定量化することにより,有効かつ正確な深度予測を可能にする。

関連論文リスト

• Starting Positions Matter: A Study on Better Weight Initialization for Neural Network Quantization [71.44469196328507]
  正規化、量子化対応トレーニング、量子化不正性ペナルティといった量子化固有のモデル開発技術は、現代のDNNの精度と堅牢性を大幅に向上させるのに役立っている。 本研究は, 各種CNNビルディングブロックの重み付け初期化が, 効率のよいCNNに共通する各種CNNビルディングブロックに与える影響について検討する。 次に、量子化されたDNNのパラメータを予測するために、グラフハイパーネットワークス(GHN)を用いた量子化ロバストなCNN初期化の新しい手法を検討する。
  論文  参考訳（メタデータ） (2025-06-12T08:11:34Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
  浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。 ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。 本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:02:55Z)
• Towards Cheaper Inference in Deep Networks with Lower Bit-Width Accumulators [25.100092698906437]
  現在のハードウェアは依然として高精度なコア操作に依存している。 これは、これまでのところ、低精度のアキュムレータの使用が性能を著しく低下させたためである。 本稿では,12ドル(約1万2000円)の安価なアキュムレータを初めて活用するために,高品質DNNの訓練と微調整を行うための簡単な方法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T11:46:01Z)
• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Low-bit Quantization for Deep Graph Neural Networks with Smoothness-aware Message Propagation [3.9177379733188715]
  本稿では,資源制約のある環境において,これらの課題に対処するためのエンドツーエンドソリューションを提案する。 本稿では,学習中のメッセージパッシングからノード分類まで,GNNのすべての段階に対する量子化に基づくアプローチを提案する。 提案した量子化器は量子化範囲を学習し、低ビット量子化の下でも同等の精度でモデルサイズを削減する。
  論文  参考訳（メタデータ） (2023-08-29T00:25:02Z)
• Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。 浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。 提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-30T07:35:07Z)
• GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks [80.29667394618625]
  我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。 我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
  論文  参考訳（メタデータ） (2022-08-26T08:00:02Z)
• PalQuant: Accelerating High-precision Networks on Low-precision Accelerators [17.877271678887315]
  低精度深層学習アクセラレータ (DLAs) は, チップ面積とエネルギー消費の優位性から普及している。 高精度かつ効率的な推論を実現する一つの方法は、高精度ニューラルネットワークを低精度DLAに展開することである。 並列低精度表現をスクラッチから学習することで高精度計算を近似するParallel Low-precision Quantization (PalQuant)法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T09:44:13Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference [7.886868529510128]
  量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度に精度を低下させると、精度が低下する。 ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
  論文  参考訳（メタデータ） (2021-02-08T19:56:04Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks [0.0]
  本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。 良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
  論文  参考訳（メタデータ） (2020-11-13T04:12:54Z)
• Subtensor Quantization for Mobilenets [5.735035463793008]
  ディープニューラルネットワーク(DNN)の量子化により、開発者はより少ないメモリとより効率的な低消費電力推論でモデルをデプロイできるようになった。 本稿では,量子化損失の根本原因について分析し,チャネル単位やトレーニング対応のアプローチに依存しない代替案を提案する。 我々は、ImageNetデータセット上の画像分類タスクと、浮動小数点バージョンの0.7%以内で、トレーニング後の量子化8ビット推論トップ1の精度を評価する。
  論文  参考訳（メタデータ） (2020-11-04T15:41:47Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
  既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。 重みとアクティベーションを定量化する新しい量子化法を提案する。 鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
  論文  参考訳（メタデータ） (2020-07-08T05:10:53Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。