論文の概要: LLMs on a Budget? Say HOLA

• arxiv url: http://arxiv.org/abs/2506.18952v1
• Date: Mon, 23 Jun 2025 10:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.311533
• Title: LLMs on a Budget? Say HOLA
• Title（参考訳）: LLMs on a Budget?
• Authors: Zohaib Hasan Siddiqui, Jiechao Gao, Ebad Shabbir, Mohammad Anas Azeez, Rafiq Ali, Gautam Siddharth Kashyap, Usman Naseem,
• Abstract要約: エッジデバイス上での大規模言語モデル(LLM)の実行は、高い計算量とメモリ要求によって制限される。 我々は,効率的なLLMデプロイメントのためのエンドツーエンド最適化フレームワークであるHOLAを紹介する。 GSM8Kで17.6% EMA、ARCで10.5% MCA、Jetson Nanoのようなエッジデバイスでレイテンシとメモリを削減し、スケーラブルでプロダクション対応の両方を実現している。
• 参考スコア（独自算出の注目度）: 8.120251020350587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Running Large Language Models (LLMs) on edge devices is constrained by high compute and memory demands posing a barrier for real-time applications in sectors like healthcare, education, and embedded systems. Current solutions such as quantization, pruning, and retrieval-augmented generation (RAG) offer only partial optimizations and often compromise on speed or accuracy. We introduce HOLA, an end-to-end optimization framework for efficient LLM deployment. Internally, it leverages Hierarchical Speculative Decoding (HSD) for faster inference without quality loss. Externally, AdaComp-RAG adjusts retrieval complexity based on context needs. Together with LoBi, which blends structured pruning (LoRA) and quantization, HOLA delivers significant gains: 17.6% EMA on GSM8K, 10.5% MCA on ARC, and reduced latency and memory on edge devices like Jetson Nano--proving both scalable and production-ready.
• Abstract（参考訳）: エッジデバイス上での大規模言語モデル(LLM)の実行は、医療、教育、組み込みシステムといった分野におけるリアルタイムアプリケーションにとって障壁となるハイコンピュートとメモリ要求によって制限されている。 量子化、プルーニング、検索拡張生成(RAG)といった現在のソリューションは、部分最適化のみを提供し、スピードや精度に妥協することが多い。 我々は,効率的なLLMデプロイメントのためのエンドツーエンド最適化フレームワークであるHOLAを紹介する。 内部的には、HSD(Hierarchical Speculative Decoding)を活用して、高速な推論を実現している。 外部では、AdaComp-RAGはコンテキスト要求に基づいて検索複雑性を調整する。 構造化プルーニング(LoRA)と量子化を組み合わせたLoBiとともに、HOLAはGSM8Kで17.6%のEMA、ARCで10.5%のMCA、Jetson Nanoのようなエッジデバイスでレイテンシとメモリを削減し、スケーラブルでプロダクション対応の両方を実現している。

関連論文リスト

• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval [10.268774281394261]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)を外部データソースに拡張し、事実の正しさとドメインカバレッジを高める。 現代のRAGパイプラインは大規模なデータストアに依存しており、レイテンシに敏感なデプロイメントにおけるシステムの課題につながっている。 我々は,GPUメモリの必要量を最小限に抑え,RAGレイテンシを低減する効率的な推論システムであるTeleRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-28T11:32:22Z)
• Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
  Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。 LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。 LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-20T18:37:32Z)
• Efficient Deployment of Large Language Models on Resource-constrained Devices [12.644230479753476]
  様々な下流タスクのために、リソース制約されたデバイス上でLLM(Large Language Models)を微調整する必要がある。 FedSpineは、PEFT(Efficient Fine-Tuning)と構造化プルーニングを組み合わせたフレームワークで、リソース制約のあるデバイスにLLMを効率的にデプロイする。 我々はFedSpineが1.4Times$$$timesで微調整を高速化し、最終的な精度を他のベースラインと比べて同じ間隔で0.4%-4.5%向上できることを示した。
  論文  参考訳（メタデータ） (2025-01-05T04:38:11Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference [10.608817382813786]
  混合精度の一般行列乗算は批判的だが未探索の演算である。 現在のハードウェアはmpGEMMをネイティブにサポートしていないため、非効率なdequantizationベースの実装につながっている。 低ビットLLM推論に最適化されたソフトウェアとハードウェアの共同設計ソリューションであるLUT Coreを提案する。
  論文  参考訳（メタデータ） (2024-08-12T08:52:14Z)
• JORA: JAX Tensor-Parallel LoRA Library for Retrieval Augmented Fine-Tuning [16.86356520836045]
  本稿では,Llama-2モデルのPEFT互換微調整のための新しいフレームワークについて紹介する。 我々のフレームワークは、JAXのジャスト・イン・タイム(JIT)コンパイルと、効率的なリソース管理のためにテンソルシャーディングを独自に利用しています。 実験では,Hugging Face/DeepSpeed実装を4GPUで実装するのに対して,GPUあたりのVRAMは半分以下であるのに対して,ランタイムでは12倍以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-17T23:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。