論文の概要: Quantized Edge Inference of a Self-Supervised SAR-Optical Encoder on Commodity x86 Hardware
- arxiv url: http://arxiv.org/abs/2610.37056v1
- Date: Tue, 27 Oct 2026 11:24:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.575937
- Title: Quantized Edge Inference of a Self-Supervised SAR-Optical Encoder on Commodity x86 Hardware
- Title(参考訳): コモディティx86ハードウェア上でのSAR-Optical Encoderの量子エッジ推定
- Abstract要約: 自己監督型視覚変換器は、地球観測のための再利用可能なエンコーダとしてますます利用されている。
我々は3つのコモディティx86ノードにSAR-光マスク型オートエンコーダエンコーダをプリトレーニングした。
- 参考スコア(独自算出の注目度): 1.4681656119120585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised vision transformers are increasingly used as reusable encoders for Earth observation, but their inference cost on the hardware available in the field is rarely characterized. We deploy a pretrained SAR-optical masked-autoencoder encoder on three commodity x86 nodes, from a low-power CPU without AVX2 to an AVX2+VNNI reference, at FP32, FP16 and INT8 on the CPU and, where present, the integrated GPU, and report latency, energy (RAPL and wall plug) and linear-probe accuracy. Quantization is accuracy-neutral: INT8 changes micro-mAP by only +0.0006, within the seed spread, so precision becomes a pure cost decision. INT8 lowers CPU latency on every node, by 1.45x even on the CPU without AVX2, and CPU energy wherever it is measured, and the VNNI reference (1.53x) suggests a further gain beyond AVX2. The Pareto-optimal device shifts from the integrated GPU, which is 4.38x faster than the CPU on the weakest node, to the CPU as the CPU class improves.
- Abstract(参考訳): 自己監督型視覚変換器は、地球観測のための再利用可能なエンコーダとして使われることが多いが、現場で利用可能なハードウェアに対する推論コストは、しばしば特徴付けられる。
AVX2のない低消費電力CPUから、CPU上のFP32, FP16, INT8のAVX2+VNNI参照まで、3つのコモディティx86ノードに事前訓練されたSARマスク付きオートエンコーダエンコーダを配置し、現在、GPUの統合、遅延、エネルギー(RAPLと壁プラグ)、線形プローブ精度を報告している。
INT8はマイクロmAPを0.0006だけ変化させるため、精度は純粋なコスト決定となる。
INT8 は AVX2 を使わずに CPU 上でも CPU のレイテンシを 1.45 倍低下させ、CPU エネルギーを計測し、VNNI 参照 (1.53x) は AVX2 をはるかに上回っていることを示唆している。
Pareto-Optimalデバイスは、最も弱いノードのCPUよりも4.38倍高速な統合GPUから、CPUクラスの改善に伴ってCPUにシフトする。
関連論文リスト
- VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳(メタデータ) (2026-09-14T16:17:35Z) - Is INT8 Portable? A Cross-Platform Measurement Study of Quantized Inference on Embedded and Automotive Accelerators [0.0]
「一度量子化し、どこにでもデプロイする」というのは、組込みおよび自動車の配置にとって安全ではない。
エッジNPUレイテンシは計算よりも出力/デバイス間転送サイズによって設定されることを示す。
論文 参考訳(メタデータ) (2026-09-14T05:29:21Z) - Realizing Native INT8 Compute for Diffusion Transformers on Consumer GPUs: A Fused INT8 GEMM Kernel for Ideogram 4.0 [0.08599681538174887]
拡散変圧器の後のINT8(W8A8)量子化は、速度最適化として広く展開されている。
消費者向けのAmpere GPUでは、FP8やNF4よりも遅いことがしばしばある。
われわれはこのギャップをTriton INT8 GEMMで埋める。
したがって、INT8は最も遅い変種から最も速いものへと移行する。
論文 参考訳(メタデータ) (2026-06-12T16:19:03Z) - FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels [2.339485034137561]
提案するFairyFuseは,コモディティCPU上での乗算不要な実行を可能にする推論システムである。
ルーフライン解析により、16倍の重み圧縮により、メモリバウンドGEMVは帯域幅制限CPUの計算系にシフトすることが示された。
エンドツーエンドでは、FairyFuseは1つのIntel Xeon 8558Pで毎秒32.4トークンを獲得し、ラマを上回っている。
論文 参考訳(メタデータ) (2026-04-22T02:42:10Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳(メタデータ) (2026-04-05T04:25:07Z) - GPU-Accelerated Quantum Simulation: Empirical Backend Selection, Gate Fusion, and Adaptive Precision [0.0]
本稿では,GPU加速量子回路シミュレーションフレームワークを提案する。
実証的なバックエンド選択アルゴリズムは、実行時にCuPy、PyTorchCUDA、NumPyのCPUバックエンドをベンチマークする。
ゲート融合エンジンはゲートシーケンスの自動識別により回路深さを低減する。
フォールバック機構はGPUメモリの消費を監視し、リソースの枯渇時にメモリ実行を優雅に低下させる。
論文 参考訳(メタデータ) (2026-04-04T17:46:37Z) - IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference [11.526305104815357]
IntAttentionは、最初の完全整数型、プラグイン・アンド・プレイアテンションパイプラインで、再トレーニングは行わない。
IntAttentionは、スペーサリティ対応クリッピング、32エントリルックアップテーブル近似、直接整数正規化を統合している。
提案手法は,ARMv8 CPU上の従来のINT8アテンションパイプラインよりも最大3.7倍,FP16ベースラインより61%のエネルギー削減を実現している。
論文 参考訳(メタデータ) (2025-11-26T15:46:22Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳(メタデータ) (2023-08-11T04:24:39Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳(メタデータ) (2023-04-18T15:13:10Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳(メタデータ) (2021-04-16T09:54:30Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。