論文の概要: EnviroLLM: Resource Tracking and Optimization for Local AI
- arxiv url: http://arxiv.org/abs/2512.12004v1
- Date: Fri, 12 Dec 2025 19:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.068738
- Title: EnviroLLM: Resource Tracking and Optimization for Local AI
- Title（参考訳）: EnviroLLM: ローカルAIのリソース追跡と最適化
- Authors: Troy Allen,
- Abstract要約: 本稿では、パーソナルデバイス上で大規模言語モデルを実行する際のパフォーマンスとエネルギー消費をトラッキング、ベンチマーク、最適化するためのオープンソースのツールキットであるEnviroLLMを提案する。
このシステムは、リアルタイムのプロセス監視、複数のプラットフォームにわたるベンチマーク、長期分析のための視覚化を備えた永続ストレージ、パーソナライズされたモデルと最適化の推奨を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed locally for privacy and accessibility, yet users lack tools to measure their resource usage, environmental impact, and efficiency metrics. This paper presents EnviroLLM, an open-source toolkit for tracking, benchmarking, and optimizing performance and energy consumption when running LLMs on personal devices. The system provides real-time process monitoring, benchmarking across multiple platforms (Ollama, LM Studio, vLLM, and OpenAI-compatible APIs), persistent storage with visualizations for longitudinal analysis, and personalized model and optimization recommendations. The system includes LLM-as-judge evaluations alongside energy and speed metrics, enabling users to assess quality-efficiency tradeoffs when testing models with custom prompts.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、プライバシーとアクセシビリティのために、ますますローカルにデプロイされている。
本稿では、パーソナルデバイス上でLLMを実行する際の性能とエネルギー消費をトラッキング、ベンチマーク、最適化するためのオープンソースのツールキットであるEnviroLLMを提案する。
このシステムは、リアルタイムなプロセス監視、複数のプラットフォーム(Ollama、LM Studio、vLLM、OpenAI互換API)でのベンチマーク、長期解析のための視覚化を備えた永続ストレージ、パーソナライズされたモデルと最適化推奨を提供する。
このシステムには、エネルギーとスピードのメトリクスとともにLCM-as-judgeの評価が含まれており、ユーザーはカスタムプロンプトでモデルをテストする際に品質と効率のトレードオフを評価することができる。
関連論文リスト
- Evaluating Personalized Tool-Augmented LLMs from the Perspectives of Personalization and Proactivity [17.723293304671877]
我々は、パーソナライズされたツール呼び出しを評価するための新しいベンチマークETAPPを紹介する。
評価精度を向上させるために,キーポイントに基づく評価手法を提案する。
好み設定とキーポイントに基づく評価手法の有効性も検証した。
論文 参考訳（メタデータ） (2025-03-02T07:36:22Z) - EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs [6.179084469089114]
本稿では,重要な言語モデル応答を評価するために開発された EasyJudge を提案する。
軽量で、正確で、効率的で、ユーザフレンドリで、デプロイや使用が容易な、直感的な視覚化インターフェースを備えている。
論文 参考訳（メタデータ） (2024-10-13T08:24:12Z) - ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。
LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。
次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
論文 参考訳（メタデータ） (2024-07-23T23:37:29Z) - MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。
MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
論文 参考訳（メタデータ） (2024-06-12T22:58:12Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Automated Machine Learning: A Case Study on Non-Intrusive Appliance Load Monitoring [81.06807079998117]
非侵入的機器負荷モニタリング(NIALM)のための自動機械学習(AutoML)を実現する新しい手法を提案する。
NIALMは、電子機器や家電のエネルギー消費を測定するためのスマートメーターに代わる費用対効果を提供する。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。