論文の概要: Triple-Bottom-Line Sustainability of Language Models for Edge AI: A Comparison Between SLMs and Quantized LLMs

• arxiv url: http://arxiv.org/abs/2609.00665v1
• Date: Tue, 01 Sep 2026 03:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.273452
• Title: Triple-Bottom-Line Sustainability of Language Models for Edge AI: A Comparison Between SLMs and Quantized LLMs
• Title（参考訳）: エッジAIのための言語モデルのトリプルボトムラインサステナビリティ:SLMと量子LLMの比較
• Abstract要約: エッジAIモデルの選択は、一般的に1つの独立したメトリック – 正確性、レイテンシ、メモリ、エネルギ、安全性 – によって駆動される。 我々の研究は、訓練後量子化によって圧縮されたna-tively trained small language model (SLM) と large language model (LLM) が、より持続可能なエッジデプロイメントトレードオフを提供するかどうかという疑問に答えることに焦点を当てている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Edge-AI model selection is commonly driven by one isolated metric - accuracy, latency, memory, energy, or safety, even though a deployable language model must balance all five. Our work focuses on answering the question whether na- tively trained small language models (SLMs) or large language models (LLMs) compressed through post-training quantization offer the more sustainable edge- deployment trade-off. We introduce a reproducible Holistic Sustainability Score (HSS) organized around the triple bottom line: an economic pillar for capability and systems efficiency, an environmental pillar for operational GPU energy and a social pillar for harmful-prompt robustness. Five BF16 SLMs and five LLMs under different quantization approaches - BF16, INT8, NF4 4-bit, GPTQ 4-bit, and GGUF Q4 produce 30 measured configurations. Capability is assessed on five zero-shot benchmarks; efficiency uses latency, throughput, peak VRAM and energy; and safety is approximated by attack success rate on five harmful prompts. Qwen3-30B-A3B/GGUF Q4 ranks first in the combined pool (93.38), followed by Mistral-Small-24B/GGUF Q4 (92.40), while Phi-4-mini/BF16 is the highest- ranked SLM in that pool (89.49). Thus, the hypothesis that native SLMs must be the most sustainable edge choice is not supported universally; optimized quantized LLMs can win overall, while SLMs remain competitive through lower resource demand. Quantization is a systems-level choice rather than a monotonic precision- efficiency trade-off and HSS remains relative to its comparison pool and proxy definitions.
• Abstract（参考訳）: エッジAIモデルの選択は通常、1つの独立したメトリック – 正確性、レイテンシ、メモリ、エネルギ、安全性 – によって駆動される。 我々の研究は、訓練後量子化によって圧縮されたna-tively trained small language model (SLM) と large language model (LLM) が、より持続可能なエッジデプロイメントトレードオフを提供するかどうかという疑問に答えることに焦点を当てている。 本稿では,3つのボトムラインを中心に構成された再現可能なホロスティックサステナビリティスコア(HSS)について紹介する。能力とシステム効率の経済柱,運用GPUエネルギの環境柱,有害確率ロバスト性のための社会柱である。 BF16、INT8、NF4 4ビット、GPTQ 4ビット、GGUF Q4 の5つの BF16 SLM と5つの LLM は、測定された30の構成を生成する。 効率性はレイテンシ、スループット、ピークVRAM、エネルギーを使用し、安全性は5つの有害なプロンプトに対する攻撃成功率によって近似される。 Qwen3-30B-A3B/GGUF Q4が第1位(93.38位)、Mistral-Small-24B/GGUF Q4が第4位(92.40位)、Phi-4-mini/BF16が第2位(89.49位)である。 したがって、ネイティブなSLMは最も持続可能なエッジ選択でなければならないという仮説は、一般にはサポートされない。 量子化は単調な精度-効率トレードオフよりもシステムレベルの選択であり、HSSはその比較プールとプロキシ定義に比例したままである。

関連論文リスト

• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling [71.62893745623526]
  ビデオフレーム選択は準ガウスサンプリングの問題である。 我々はAdaQと呼ばれる適応的でトレーニングなしのアプローチを提案する。
  論文  参考訳（メタデータ） (2026-06-23T06:13:30Z)
• RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization [5.0009109610311855]
  ハイブリッドDPOを用いたRLearner-LLMを提案する。 RLearner-LLMはSFTよりも最大6倍NLI改善する。 Gemma 4 E4B-itでは、Hybrid-DPOは5つのドメインのうち4つのNLIを持ち上げる。
  論文  参考訳（メタデータ） (2026-05-06T06:36:09Z)
• LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation [29.676785178178104]
  本稿では,W(1+1)A4量子化を実現する軽量なバイナライズフレームワークであるLBLLMについて,新しい3段階量子化戦略を提案する。 LBLLMは1つのGPUで0.016Bトークンのみを使用してトレーニングされており、W2A4量子化設定における既存の最先端のバイナライズ手法を超越している。
  論文  参考訳（メタデータ） (2026-04-21T07:25:02Z)
• IMPQ: Interaction-Aware Layerwise Mixed Precision Quantization for LLMs [4.655407920049974]
  混合精度量子化は説得力のある解であるが、従来の方法では平均精度が4ビット以下に低下する。 本稿では,これらの制約に対処する2つのイノベーションを提案する。 まず,混合精度量子化問題を階層間の協調ゲームとして構成し,Shapley-based Progressive Quantization Estimation (SPQE)を導入する。 次に、これらのShapley推定値を2次最適化形式に変換する対話型混合精度量子化(IMPQ)を提案する。
  論文  参考訳（メタデータ） (2025-09-18T21:59:40Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。