論文の概要: EnviroLLM: Resource Tracking and Optimization for Local AI
- arxiv url: http://arxiv.org/abs/2512.12004v1
- Date: Fri, 12 Dec 2025 19:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.068738
- Title: EnviroLLM: Resource Tracking and Optimization for Local AI
- Title（参考訳）: EnviroLLM: ローカルAIのリソース追跡と最適化
- Authors: Troy Allen,
- Abstract要約: 本稿では、パーソナルデバイス上で大規模言語モデルを実行する際のパフォーマンスとエネルギー消費をトラッキング、ベンチマーク、最適化するためのオープンソースのツールキットであるEnviroLLMを提案する。
このシステムは、リアルタイムのプロセス監視、複数のプラットフォームにわたるベンチマーク、長期分析のための視覚化を備えた永続ストレージ、パーソナライズされたモデルと最適化の推奨を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed locally for privacy and accessibility, yet users lack tools to measure their resource usage, environmental impact, and efficiency metrics. This paper presents EnviroLLM, an open-source toolkit for tracking, benchmarking, and optimizing performance and energy consumption when running LLMs on personal devices. The system provides real-time process monitoring, benchmarking across multiple platforms (Ollama, LM Studio, vLLM, and OpenAI-compatible APIs), persistent storage with visualizations for longitudinal analysis, and personalized model and optimization recommendations. The system includes LLM-as-judge evaluations alongside energy and speed metrics, enabling users to assess quality-efficiency tradeoffs when testing models with custom prompts.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、プライバシーとアクセシビリティのために、ますますローカルにデプロイされている。
本稿では、パーソナルデバイス上でLLMを実行する際の性能とエネルギー消費をトラッキング、ベンチマーク、最適化するためのオープンソースのツールキットであるEnviroLLMを提案する。
このシステムは、リアルタイムなプロセス監視、複数のプラットフォーム(Ollama、LM Studio、vLLM、OpenAI互換API)でのベンチマーク、長期解析のための視覚化を備えた永続ストレージ、パーソナライズされたモデルと最適化推奨を提供する。
このシステムには、エネルギーとスピードのメトリクスとともにLCM-as-judgeの評価が含まれており、ユーザーはカスタムプロンプトでモデルをテストする際に品質と効率のトレードオフを評価することができる。
関連論文リスト
- DABench-LLM: Standardized and In-Depth Benchmarking of Post-Moore Dataflow AI Accelerators for LLMs [18.46752801066992]
データフローベースのアクセラレータ上で,大規模言語モデルを評価するためのベンチマークフレームワークであるDABench-LLMを紹介する。
我々は,3つのコモディティデータフローアクセラレータ,Cerebras WSE-2,SambaNova RDU,Graphcore IPU上でDABench-LLMを検証する。
論文 参考訳（メタデータ） (2025-12-04T22:43:14Z) - Green Metrics Tool: Measuring for fun and profit [0.0]
Green Metrics Tool (GMT)は、ソフトウェアのリソース消費を正確に測定するための新しいフレームワークである。
このツールはコンテナ化され、制御され、再現可能なライフサイクルベースのアプローチを提供する。
論文 参考訳（メタデータ） (2025-06-30T15:36:53Z) - Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。
以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
論文 参考訳（メタデータ） (2025-04-07T16:05:52Z) - Evaluating Personalized Tool-Augmented LLMs from the Perspectives of Personalization and Proactivity [17.723293304671877]
我々は、パーソナライズされたツール呼び出しを評価するための新しいベンチマークETAPPを紹介する。
評価精度を向上させるために,キーポイントに基づく評価手法を提案する。
好み設定とキーポイントに基づく評価手法の有効性も検証した。
論文 参考訳（メタデータ） (2025-03-02T07:36:22Z) - EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs [6.179084469089114]
本稿では,重要な言語モデル応答を評価するために開発された EasyJudge を提案する。
軽量で、正確で、効率的で、ユーザフレンドリで、デプロイや使用が容易な、直感的な視覚化インターフェースを備えている。
論文 参考訳（メタデータ） (2024-10-13T08:24:12Z) - ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。
LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。
次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
論文 参考訳（メタデータ） (2024-07-23T23:37:29Z) - MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。
MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
論文 参考訳（メタデータ） (2024-06-12T22:58:12Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳（メタデータ） (2024-05-31T14:21:04Z) - MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。
LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。
LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文 参考訳（メタデータ） (2023-09-19T15:25:42Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-05-03T21:51:42Z) - Automated Machine Learning: A Case Study on Non-Intrusive Appliance Load Monitoring [81.06807079998117]
非侵入的機器負荷モニタリング(NIALM)のための自動機械学習(AutoML)を実現する新しい手法を提案する。
NIALMは、電子機器や家電のエネルギー消費を測定するためのスマートメーターに代わる費用対効果を提供する。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。