論文の概要: A Hardware-oriented Approach for Efficient Bayesian Inference Computation and Deployment
- arxiv url: http://arxiv.org/abs/2607.17855v1
- Date: Mon, 20 Jul 2026 11:52:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.608697
- Title: A Hardware-oriented Approach for Efficient Bayesian Inference Computation and Deployment
- Title（参考訳）: 効率的なベイズ推論計算と展開のためのハードウェア指向アプローチ
- Abstract要約: 本稿では,市販オフザシェルフ組込みGPUにおける離散ベイズ推定を高速化するハードウェア指向手法を提案する。
隠れマルコフモデルのための3つのメッセージパスアルゴリズムの方法論をインスタンス化し、最適化された変種を生成する。
我々の実装は最大5倍の高速化を実現し、典型的な2-2.5倍のゲインを得ると同時に、数値的に同一の出力を生成する。
- 参考スコア（独自算出の注目度）: 1.5642142547420754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian inference provides a principled foundation for reasoning under uncertainty, but its computational cost hinders deployment on resource-constrained edge devices. In this paper, we present a hardware-oriented methodology for accelerating discrete Bayesian inference on commercial off-the-shelf embedded GPUs. We identify that the latency of a broad class of variational message-passing algorithms is dominated by tensor contractions. Our approach restructures the memory layout of these operations using two complementary merging strategies that produce compact, regularly-shaped primitives better suited for efficient GPU execution. We then introduce optional sparse array representations and a tensor-clustering scheme to reduce the memory footprint. We instantiate the methodology and produce optimized variants of three message-passing algorithms for Hidden Markov Models (HMMs), namely variational filtering, variational message passing, and marginal message passing. Furthermore, we complement this with a machine-learning-based autotuner that automatically selects the best-performing algorithmic variant for a given generative model specification. Benchmarked on an NVIDIA Jetson Orin AGX across 770 randomly sampled realistic Partially Observable Markov Decision Process (POMDP) configurations, our implementations achieve speedups of up to 5x, with typical gains of 2-2.5x, while producing numerically identical outputs to the baseline implementations.
- Abstract（参考訳）: ベイズ推論は不確実性の下での推論の原理的な基礎を提供するが、その計算コストは資源制約されたエッジデバイスへの展開を妨げる。
本稿では,市販オフザシェルフ組込みGPUにおける離散ベイズ推定を高速化するハードウェア指向手法を提案する。
変分メッセージパッシングアルゴリズムの幅広いクラスにおけるレイテンシはテンソルの収縮に支配される。
提案手法は,GPUの効率的な実行に適したコンパクトで定期的なプリミティブを生成する2つの相補的なマージ戦略を用いて,これらの操作のメモリレイアウトを再構成する。
次に,メモリフットプリントを削減するために,任意のスパース配列表現とテンソルクラスタリング方式を導入する。
我々は,HMM(Hidden Markov Models)のための3つのメッセージパッシングアルゴリズム,すなわち変分フィルタリング,変分メッセージパッシング,および限界メッセージパッシングに対して,方法論をインスタンス化し,最適化された変種を生成する。
さらに、これを機械学習に基づくオートチューニングで補完し、与えられた生成モデル仕様に対して最適なアルゴリズム変種を自動的に選択する。
NVIDIA Jetson Orin AGXを770個のランダムサンプルでランダムにサンプリングした部分観測可能なマルコフ決定プロセス(POMDP)の構成でベンチマークし、我々の実装は最大5倍の高速化を実現し、典型的な2-2.5倍のゲインを実現し、ベースライン実装に数値的に同一の出力を生成する。
関連論文リスト
- Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。
計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。
AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
論文 参考訳（メタデータ） (2026-03-12T12:46:42Z) - Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。
リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。
この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
論文 参考訳（メタデータ） (2025-11-06T02:55:07Z) - MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。
資源制約されたプラットフォームにおける高い計算コスト制限。
我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-10-16T18:00:00Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Regularized second-order optimization of tensor-network Born machines [2.8834278113855896]
ボルンマシン(英: Born Machine、TNBM)は、データ分布を学習するための量子インスパイアされた生成モデルである。
TNBMの鍵となるボトルネックは、この問題によく使用される損失関数の対数的性質である。
そこで本研究では,TNBMトレーニングにおける2次最適化手法を改良し,収束率と最適化モデルの品質を大幅に向上させる。
論文 参考訳（メタデータ） (2025-01-30T19:00:04Z) - Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。
我々はこれらの不変カーネルの最大情報ゲインを導出する。
核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
論文 参考訳（メタデータ） (2024-10-22T12:51:46Z) - The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。
イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。
実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文 参考訳（メタデータ） (2024-07-30T17:03:19Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳（メタデータ） (2023-10-30T02:04:20Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。