論文の概要: Edge-Native Multimodal RAG: Hardware-Aware Quantization and Architectural Optimization for Consumer GPUs
- arxiv url: http://arxiv.org/abs/2611.14924v1
- Date: Wed, 11 Nov 2026 02:26:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.982875
- Title: Edge-Native Multimodal RAG: Hardware-Aware Quantization and Architectural Optimization for Consumer GPUs
- Title(参考訳): Edge-Native Multimodal RAG: ハードウェア対応の量子化とコンシューマGPUのアーキテクチャ最適化
- Abstract要約: Edge-AI用の検索拡張生成(RAG)は、メモリと帯域幅の制限によって制限される。
本稿では,コンシューマグレードのチューリングハードウェアに最適化されたマルチモーダルRAGフレームワークの工学的統合と実証評価について述べる。
- 参考スコア(独自算出の注目度): 0.24629531282150874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deployment of retrieval-augmented generation (RAG) for Edge-AI is constrained by memory and bandwidth limitations. A standard 7B parameter model consumes 14 GB Video Random Access Memory (VRAM) in half-precision (FP16), precluding co-location of vector indices and Key-Value (KV) caches. This paper presents an engineering integration and empirical evaluation of a multimodal RAG framework optimized for consumer-grade Turing hardware (e.g., NVIDIA Tesla T4). Our system-level analysis identifies a critical trade-off: while generative pre-trained transformer quantization (GPTQ) offers superior throughput (51.6 tok/s), it exhibits significant context instability at 2048+ tokens on Turing architectures. Conversely, NormalFloat 4-bit (NF4) maintains robust long-context performance with viable latency (81 ms/tok). By coupling NF4 with a decoupled Florence-2 vision integration, we achieve visual reasoning with only 430 MB VRAM overhead. Furthermore, empirical observations of prompt-induced search space pruning show that structured prompting reduces latency by 47% without altering computational intensity (1.88 GFLOPs/token). The integrated architecture maintains an 8.37 GB footprint, establishing a viable RAG pipeline for 12-16 GB GPUs. Finally, structured few-shot prompting effectively compensates for quantization-induced reasoning loss, restoring mathematical accuracy from 35.0% to 92.0% across 200 trials.
- Abstract(参考訳): Edge-AIのための検索拡張生成(RAG)のデプロイは、メモリと帯域幅の制限によって制限される。
標準的な7Bパラメータモデルは14GBのビデオランダムアクセスメモリ(VRAM)を半精度(FP16)で消費し、ベクトルインデックスとキーバリュー(KV)キャッシュの同時配置を前提としている。
本稿では、コンシューマグレードのチューリングハードウェア(NVIDIA Tesla T4など)に最適化されたマルチモーダルRAGフレームワークのエンジニアリング統合と実証評価について述べる。
生成的事前学習型トランスフォーマー量子化(GPTQ)は優れたスループット(51.6 tok/s)を提供するが、チューリングアーキテクチャ上の2048以上のトークンにおいて大きなコンテキスト不安定性を示す。
逆に、NormalFloat 4-bit (NF4) は、持続的なレイテンシ (81 ms/tok) で堅牢な長時間コンテキスト性能を維持している。
分離されたFlorence-2視覚統合とNF4を結合することにより、430MBのVRAMオーバーヘッドしか持たない視覚的推論を実現する。
さらに、プロンプト誘導型サーチスペースプルーニングの実証観測により、構造的プロンプトは計算強度を変化させることなく遅延を47%減少させる(1.88 GFLOP/token)。
統合アーキテクチャは8.37GBのフットプリントを維持し、12-16GBのGPUで実行可能なRAGパイプラインを確立する。
最後に、構造化された数発のプロンプトは量子化による推論損失を効果的に補償し、200回の試行で数学的精度を35.0%から92.0%に復元する。
関連論文リスト
- Compression Technique Interactions in Small Language Models: A Factorial Ablation Study [0.0]
72の圧縮構成を4つのSLMアーキテクチャで評価する。
我々は, 定量化, 刈り取り, 圧縮後の回復が組み合わさってどのように作用するかを示す。
4ビット量子化は、0.5点以下のパープレキシティ差に対して8ビットよりも46-54%高速に実行される。
論文 参考訳(メタデータ) (2026-10-30T23:36:03Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - RoofGS: Roofline-Guided End-to-End Acceleration of 3D Gaussian Splatting [20.838595758539498]
RoofGSは、一般的なカーネルアクセラレーションではなく、ボトルネック固有の最適化を適用するレンダリングフレームワークである。
実験の結果、RoofGSは指数指数指数4090よりも10.1ドルのエンドツーエンドのスピードアップを達成した。
論文 参考訳(メタデータ) (2026-08-16T15:06:39Z) - LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。
しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。
本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
論文 参考訳(メタデータ) (2026-06-26T09:11:59Z) - MEMTIER: Tiered Memory Architecture and Retrieval Bottleneck Analysis for Long-Running Autonomous AI Agents [6.8552591401084015]
提案するMEMTIERは,OpenClawエージェントのための三部構成メモリアーキテクチャである。
完全なLongMemEval-Sベンチマークでは、MEMTIERは6GBのGPU上でQwen2.5-7BでAcc.382, F1=.412を達成する。
DeepSeek-V4-Flashでは、シングルセッションリコールは0.686-0.714に達し、これらのカテゴリのRAG GPT-4oを上回っている。
論文 参考訳(メタデータ) (2026-05-05T12:14:10Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳(メタデータ) (2026-04-05T04:25:07Z) - GPU-Accelerated Quantum Simulation: Empirical Backend Selection, Gate Fusion, and Adaptive Precision [0.0]
本稿では,GPU加速量子回路シミュレーションフレームワークを提案する。
実証的なバックエンド選択アルゴリズムは、実行時にCuPy、PyTorchCUDA、NumPyのCPUバックエンドをベンチマークする。
ゲート融合エンジンはゲートシーケンスの自動識別により回路深さを低減する。
フォールバック機構はGPUメモリの消費を監視し、リソースの枯渇時にメモリ実行を優雅に低下させる。
論文 参考訳(メタデータ) (2026-04-04T17:46:37Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳(メタデータ) (2026-03-23T17:57:24Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2026-03-12T16:00:22Z) - Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳(メタデータ) (2024-07-25T16:35:46Z) - ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。
ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。
エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。
より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
論文 参考訳(メタデータ) (2024-03-22T07:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。