論文の概要: Profiling Lightweight Large Language Models

• arxiv url: http://arxiv.org/abs/2607.20806v1
• Date: Thu, 23 Jul 2026 00:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.252491
• Title: Profiling Lightweight Large Language Models
• Title（参考訳）: 軽量大言語モデルのプロファイリング
• Abstract要約: 軽量大規模言語モデル(LLM)は、パーソナルコンピュータにローカルにデプロイされることが増えている。 本稿では,軽量LLM推論の高精度なプロファイリングのためのPTMEに基づく実験フレームワークを提案する。 静的プロキシディスクリプタは推論に十分なコストがかかるが,精度の予測には失敗している。
• 参考スコア（独自算出の注目度）: 0.4231181719953952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lightweight large language models (LLMs) are increasingly being deployed locally on personal computers and are expected to play a growing role in resource-constrained edge and mobile environments. In such settings, energy consumption, execution time, and memory usage directly affect practical usability, yet existing evaluations of LLM efficiency largely rely on proxy descriptors such as parameter count or FLOPs, often decoupled from task precision. This paper introduces a PTME-based experimental framework for the precision-aware profiling of lightweight LLM inference, jointly measuring Precision, execution Time, peak Memory usage, and Energy consumption through direct hardware-level measurements. The methodology is applied to a representative set of lightweight LLMs executed locally under edge-class resource envelopes on a controlled desktop platform, using benchmarks spanning code generation, mathematical reasoning, and multi-task understanding. We find that static proxy descriptors approximate inference cost well but fail to predict precision. Tightening the resource envelope increases cost without affecting precision, amplifying execution time more strongly than energy and penalizing larger models the most. Moreover, no single model dominates across all PTME dimensions, and a Pareto analysis reveals non-dominated configurations that would be hidden by accuracy-only or efficiency-only assessments, providing practical guidance for selecting models under different resource envelopes. These results show that selecting lightweight LLMs by size, FLOPs, latency, or accuracy alone can select the wrong deployment candidate; PTME profiling exposes configurations that preserve useful accuracy at lower physical cost.
• Abstract（参考訳）: 軽量な大規模言語モデル (LLM) は、パーソナルコンピュータにローカルにデプロイされ、リソース制約のあるエッジとモバイル環境において、その役割を担っていると期待されている。 このような設定では、エネルギー消費、実行時間、メモリ使用量は実際のユーザビリティに直接影響するが、既存のLCM効率の評価はパラメータカウントやFLOPなどのプロキシ記述子に大きく依存しており、多くの場合タスクの精度から切り離されている。 本稿では,ライトウェイトLSM推論の高精度なプロファイリングのためのPTMEに基づく実験フレームワークについて紹介する。 この手法は、コード生成、数学的推論、マルチタスク理解といったベンチマークを用いて、制御されたデスクトッププラットフォーム上でエッジクラスリソースエンベロープの下でローカルに実行される軽量LLMの代表セットに適用される。 静的プロキシディスクリプタは推論に十分なコストがかかるが,精度の予測には失敗している。 資源封筒の強化は、精度に影響を与えることなくコストを増大させ、エネルギーよりも強い実行時間を増幅し、より大きなモデルを最もペナルティ化する。 さらに、全てのPTME次元で単一のモデルが支配的であり、Pareto分析では、精度のみまたは効率のみのアセスメントによって隠蔽される非支配的な構成を明らかにし、異なるリソースエンベロープ下でモデルを選択するための実用的なガイダンスを提供する。 これらの結果から,軽量LCMをサイズ,FLOP,レイテンシ,精度で選択することで,間違った配置候補を選択できることが示唆された。

関連論文リスト

• Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search [51.33002870475756]
  マルチフィデリティベイズ最適化に基づくコスト認識獲得関数である Power-Law Entropy Search (PLES) を導入する。 PLESは、単一の目的関数を最適化するのではなく、スケーリング法見積の全体的な不確実性を低減する候補を検索する。
  論文  参考訳（メタデータ） (2026-09-01T15:41:59Z)
• Learning POMDP World Models from Observations with Language-Model Priors [52.11151769796862]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。 先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。 我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:18:15Z)
• MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling [29.784396745475835]
  大規模言語モデル(LLM)のスケーリングは通常、パフォーマンスを高めるためにパラメータやテスト時間計算の数を増やすことに依存する。 MeKi(メモリベースエキスパートナレッジインジェクション)は、FLOPではなくストレージ空間を介してLLM容量をスケールする新しいシステムである。 MeKiは、同一の推論速度で高密度LLMベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-02-03T10:32:04Z)
• Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models [97.55009021098554]
  本研究の目的は、SLMのリアルタイムレイテンシの主要な決定要因を特定し、SLMの設計とトレーニングのための一般化可能な原則と方法論を提供することである。 我々はNemotron-Flashと呼ばれるハイブリッドSLMの新たなファミリーを導入し、最先端SLMの精度・効率のフロンティアを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-11-24T08:46:36Z)
• lm-Meter: Unveiling Runtime Inference Latency for On-Device Language Models [7.524517279167586]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます統合されています。 モバイルおよびエッジデバイス(オンデバイスLDM)でLLMをローカルに実行することは、プライバシー、信頼性、通信コストの削減を約束する。 オンデバイスLSM推論に適した,最初の軽量オンライン遅延プロファイラであるlm-Meterを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:05:30Z)
• EdgeProfiler: A Fast Profiling Framework for Lightweight LLMs on Edge Using Analytical Model [0.3359875577705537]
  本稿では,エッジシステム上での軽量大言語モデル(LLM)を評価するためのフレームワークであるEdgeProfilerを紹介する。 このフレームワークはTinyLLaMA、Gemma3.1B、Llama3.2-1B、DeepSeek-r1-1.5BなどのコンパクトなLCMをプロファイルしている。 プロファイリングにより,4ビット量子化によりモデルメモリ使用量を約60～70%削減し,精度は2～5%に抑えられた。
  論文  参考訳（メタデータ） (2025-06-06T01:56:07Z)
• Harnessing On-Device Large Language Model: Empirical Results and Implications for AI PC [8.837470787975308]
  エッジデバイス上の大規模言語モデル(LLM)は、大きなプライバシー上のメリットを提供する。 これらのオンデバイスLSMは、モデル容量の削減と必要な圧縮技術のために本質的に性能上の制限に直面している。 デバイス上でのLCMを評価するために,モデル能力,開発効率,システム資源を包含する体系的方法論を導入する。
  論文  参考訳（メタデータ） (2025-05-21T02:23:01Z)
• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• Cost-Optimal Grouped-Query Attention for Long-Context Modeling [45.981681856747365]
  Grouped-Query Attention(GQA)は、大規模言語モデルにおける注目層の計算コストを削減するための広く採用されている戦略である。 我々は,文脈長,モデルサイズ,GQA構成,モデル損失の関係を分析する。 コスト最適GQA構成の導出法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T17:50:42Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。