論文の概要: Triple-Bottom-Line Sustainability of Language Models for Edge AI: A Comparison Between SLMs and Quantized LLMs

• arxiv url: http://arxiv.org/abs/2609.00665v1
• Date: Tue, 01 Sep 2026 03:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.273452
• Title: Triple-Bottom-Line Sustainability of Language Models for Edge AI: A Comparison Between SLMs and Quantized LLMs
• Title（参考訳）: エッジAIのための言語モデルのトリプルボトムラインサステナビリティ:SLMと量子LLMの比較
• Authors: Jainil Dharmil Shah,
• Abstract要約: エッジAIモデルの選択は、一般的に1つの独立したメトリック – 正確性、レイテンシ、メモリ、エネルギ、安全性 – によって駆動される。 我々の研究は、訓練後量子化によって圧縮されたna-tively trained small language model (SLM) と large language model (LLM) が、より持続可能なエッジデプロイメントトレードオフを提供するかどうかという疑問に答えることに焦点を当てている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Edge-AI model selection is commonly driven by one isolated metric - accuracy, latency, memory, energy, or safety, even though a deployable language model must balance all five. Our work focuses on answering the question whether na- tively trained small language models (SLMs) or large language models (LLMs) compressed through post-training quantization offer the more sustainable edge- deployment trade-off. We introduce a reproducible Holistic Sustainability Score (HSS) organized around the triple bottom line: an economic pillar for capability and systems efficiency, an environmental pillar for operational GPU energy and a social pillar for harmful-prompt robustness. Five BF16 SLMs and five LLMs under different quantization approaches - BF16, INT8, NF4 4-bit, GPTQ 4-bit, and GGUF Q4 produce 30 measured configurations. Capability is assessed on five zero-shot benchmarks; efficiency uses latency, throughput, peak VRAM and energy; and safety is approximated by attack success rate on five harmful prompts. Qwen3-30B-A3B/GGUF Q4 ranks first in the combined pool (93.38), followed by Mistral-Small-24B/GGUF Q4 (92.40), while Phi-4-mini/BF16 is the highest- ranked SLM in that pool (89.49). Thus, the hypothesis that native SLMs must be the most sustainable edge choice is not supported universally; optimized quantized LLMs can win overall, while SLMs remain competitive through lower resource demand. Quantization is a systems-level choice rather than a monotonic precision- efficiency trade-off and HSS remains relative to its comparison pool and proxy definitions.
• Abstract（参考訳）: エッジAIモデルの選択は通常、1つの独立したメトリック – 正確性、レイテンシ、メモリ、エネルギ、安全性 – によって駆動される。 我々の研究は、訓練後量子化によって圧縮されたna-tively trained small language model (SLM) と large language model (LLM) が、より持続可能なエッジデプロイメントトレードオフを提供するかどうかという疑問に答えることに焦点を当てている。 本稿では,3つのボトムラインを中心に構成された再現可能なホロスティックサステナビリティスコア(HSS)について紹介する。能力とシステム効率の経済柱,運用GPUエネルギの環境柱,有害確率ロバスト性のための社会柱である。 BF16、INT8、NF4 4ビット、GPTQ 4ビット、GGUF Q4 の5つの BF16 SLM と5つの LLM は、測定された30の構成を生成する。 効率性はレイテンシ、スループット、ピークVRAM、エネルギーを使用し、安全性は5つの有害なプロンプトに対する攻撃成功率によって近似される。 Qwen3-30B-A3B/GGUF Q4が第1位(93.38位)、Mistral-Small-24B/GGUF Q4が第4位(92.40位)、Phi-4-mini/BF16が第2位(89.49位)である。 したがって、ネイティブなSLMは最も持続可能なエッジ選択でなければならないという仮説は、一般にはサポートされない。 量子化は単調な精度-効率トレードオフよりもシステムレベルの選択であり、HSSはその比較プールとプロキシ定義に比例したままである。

関連論文リスト

• RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization [5.0009109610311855]
  ハイブリッドDPOを用いたRLearner-LLMを提案する。 RLearner-LLMはSFTよりも最大6倍NLI改善する。 Gemma 4 E4B-itでは、Hybrid-DPOは5つのドメインのうち4つのNLIを持ち上げる。
  論文  参考訳（メタデータ） (2026-05-06T06:36:09Z)
• LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation [29.676785178178104]
  本稿では,W(1+1)A4量子化を実現する軽量なバイナライズフレームワークであるLBLLMについて,新しい3段階量子化戦略を提案する。 LBLLMは1つのGPUで0.016Bトークンのみを使用してトレーニングされており、W2A4量子化設定における既存の最先端のバイナライズ手法を超越している。
  論文  参考訳（メタデータ） (2026-04-21T07:25:02Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。