論文の概要: Beyond Application End-Point Results: Quantifying Statistical Robustness
of MCMC Accelerators
- arxiv url: http://arxiv.org/abs/2003.04223v1
- Date: Thu, 5 Mar 2020 20:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:43:55.034861
- Title: Beyond Application End-Point Results: Quantifying Statistical Robustness
of MCMC Accelerators
- Title（参考訳）: MCMC加速器の統計的ロバスト性の定量化
- Authors: Xiangyu Zhang, Ramin Bashizade, Yicheng Wang, Cheng Lyu, Sayan
Mukherjee, Alvin R. Lebeck
- Abstract要約: この研究は、メトリクスを定義するための第一歩と、終点結果の品質を超えた確率的加速器の正確性を評価するための方法論である。
統計的ロバスト性には,1)サンプリング品質,2)収束診断,3)適合性の良さの3つの柱を提案する。
設計空間探索を導くためのフレームワークを適用することで、浮動小数点ソフトウェアに匹敵する統計的堅牢性はビット表現をわずかに増やすことで達成できることを示す。
- 参考スコア（独自算出の注目度）: 15.15876229594396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical machine learning often uses probabilistic algorithms, such as
Markov Chain Monte Carlo (MCMC), to solve a wide range of problems.
Probabilistic computations, often considered too slow on conventional
processors, can be accelerated with specialized hardware by exploiting
parallelism and optimizing the design using various approximation techniques.
Current methodologies for evaluating correctness of probabilistic accelerators
are often incomplete, mostly focusing only on end-point result quality
("accuracy"). It is important for hardware designers and domain experts to look
beyond end-point "accuracy" and be aware of the hardware optimizations impact
on other statistical properties.
This work takes a first step towards defining metrics and a methodology for
quantitatively evaluating correctness of probabilistic accelerators beyond
end-point result quality. We propose three pillars of statistical robustness:
1) sampling quality, 2) convergence diagnostic, and 3) goodness of fit. We
apply our framework to a representative MCMC accelerator and surface design
issues that cannot be exposed using only application end-point result quality.
Applying the framework to guide design space exploration shows that statistical
robustness comparable to floating-point software can be achieved by slightly
increasing the bit representation, without floating-point hardware
requirements.
- Abstract（参考訳）: 統計的機械学習は、マルコフ連鎖モンテカルロ(mcmc)のような確率論的アルゴリズムを使用して、幅広い問題を解決する。
従来のプロセッサでは遅すぎると見なされる確率計算は、並列性を活用し、様々な近似技術を用いて設計を最適化することで、特殊なハードウェアで高速化することができる。
確率的加速器の正しさを評価する現在の手法はしばしば不完全であり、主にエンドポイントの結果品質だけに焦点を当てている("accuracy")。
ハードウェア設計者やドメインの専門家は、エンドポイントの「正確さ」を超えて、ハードウェア最適化が他の統計特性に与える影響を意識することが重要である。
この研究は、計量を定義するための第一歩と、終点結果の品質を超えた確率的加速器の正しさを定量的に評価するための方法論である。
統計的堅牢性の3つの柱を提案する。
1)サンプリング品質
2)コンバージェンス診断、及び
3)適合の良さ。
本フレームワークをMCMCの代表的なアクセラレータに適用し,アプリケーションエンドポイント結果の品質だけでは公開できない表面設計問題について述べる。
設計空間探索を導くためのフレームワークを適用することで、浮動小数点ソフトウェアに匹敵する統計的堅牢性は、浮動小数点ハードウェアの要求なしにビット表現をわずかに増やすことで達成できることを示す。
関連論文リスト
- JAQ: Joint Efficient Architecture Design and Low-Bit Quantization with Hardware-Software Co-Exploration [38.264287509278866]
本稿では,3つの臨界次元を協調的に最適化するJAQフレームワークを提案する。
ソフトウェア側のメモリオーバーヘッド: 低精度の量子化対応トレーニングは、メモリ使用量を大幅に増加させる可能性がある。
ハードウェア側での検索時間: ハードウェアパラメータの離散的な性質と、コンパイラ最適化と個々の演算子間の複雑な相互作用は、アクセラレーター検索に時間を要する。
論文 参考訳（メタデータ） (2025-01-09T16:10:06Z) - MicroScopiQ: Accelerating Foundational Models through Outlier-Aware Microscaling Quantization [6.456189487006878]
基本モデル(FM)の量子化は、外れ値と呼ばれる大規模な特徴の出現によって困難である。
既存のoutlier-awareアルゴリズム/アーキテクチャの共同設計技術は、混合精度を使用し、outlierを高い精度で保持するが、ハードウェア効率を損なうか、同じ精度でinlierとoutlierを定量化する。
我々は、プルーニングを利用して外れ値認識量子化を補完する新しい共同設計手法MicroScopiQを提案する。
論文 参考訳（メタデータ） (2024-11-08T02:25:45Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - Learning Algorithms for Verification of Markov Decision Processes [20.5951492453299]
マルコフ決定過程(MDP)の検証に学習アルゴリズムを適用するための一般的な枠組みを提案する。
提案するフレームワークは,検証における中核的な問題である確率的到達性に重点を置いている。
論文 参考訳（メタデータ） (2024-03-14T08:54:19Z) - On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。
このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。
精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文 参考訳（メタデータ） (2023-09-05T04:39:34Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Uncertainty in Extreme Multi-label Classification [81.14232824864787]
eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。
本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。
特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T20:54:33Z) - Differential privacy and robust statistics in high dimensions [49.50869296871643]
高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。
本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2021-11-12T06:36:40Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳（メタデータ） (2020-11-29T03:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。