論文の概要: Accurate and Energy Efficient: Local Retrieval-Augmented Generation Models Outperform Commercial Large Language Models in Medical Tasks

• arxiv url: http://arxiv.org/abs/2506.20009v1
• Date: Tue, 24 Jun 2025 20:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.534977
• Title: Accurate and Energy Efficient: Local Retrieval-Augmented Generation Models Outperform Commercial Large Language Models in Medical Tasks
• Title（参考訳）: 精度とエネルギー効率: 地域検索強化世代モデルによる医療業務における商業大言語モデルの性能向上
• Authors: Konstantinos Vrettos, Michail E. Klontzas,
• Abstract要約: LLM(Local Large Language Models)は、医療タスクにおいて商用のオンラインLLMよりも優れたRAGを開発するために利用することができる。 私たちのモジュラーフレームワークは、持続可能なAI開発を促進し、電気の使用を減らし、国連の持続可能な開発目標と整合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background The increasing adoption of Artificial Intelligence (AI) in healthcare has sparked growing concerns about its environmental and ethical implications. Commercial Large Language Models (LLMs), such as ChatGPT and DeepSeek, require substantial resources, while the utilization of these systems for medical purposes raises critical issues regarding patient privacy and safety. Methods We developed a customizable Retrieval-Augmented Generation (RAG) framework for medical tasks, which monitors its energy usage and CO2 emissions. This system was then used to create RAGs based on various open-source LLMs. The tested models included both general purpose models like llama3.1:8b and medgemma-4b-it, which is medical-domain specific. The best RAGs performance and energy consumption was compared to DeepSeekV3-R1 and OpenAIs o4-mini model. A dataset of medical questions was used for the evaluation. Results Custom RAG models outperformed commercial models in accuracy and energy consumption. The RAG model built on llama3.1:8B achieved the highest accuracy (58.5%) and was significantly better than other models, including o4-mini and DeepSeekV3-R1. The llama3.1-RAG also exhibited the lowest energy consumption and CO2 footprint among all models, with a Performance per kWh of 0.52 and a total CO2 emission of 473g. Compared to o4-mini, the llama3.1-RAG achieved 2.7x times more accuracy points per kWh and 172% less electricity usage while maintaining higher accuracy. Conclusion Our study demonstrates that local LLMs can be leveraged to develop RAGs that outperform commercial, online LLMs in medical tasks, while having a smaller environmental impact. Our modular framework promotes sustainable AI development, reducing electricity usage and aligning with the UNs Sustainable Development Goals.
• Abstract（参考訳）: 背景 医療における人工知能(AI)の採用の増加は、その環境および倫理的影響に対する懸念の高まりを引き起こしている。 ChatGPTやDeepSeekのような商用の大規模言語モデル(LLM)にはかなりのリソースが必要であり、医療目的のためにこれらのシステムを利用することは患者のプライバシと安全性に関する重要な問題を引き起こす。 提案手法は, エネルギー利用とCO2排出量をモニタする, 医療タスクのための, カスタマイズ可能な検索・拡張生成(RAG)フレームワークを開発した。 このシステムはその後、様々なオープンソースLLMに基づいてRAGを作成するために使用された。 試験されたモデルには、llama3.1:8b や medgemma-4b-it のような汎用モデルが含まれており、これは医療ドメイン固有のものである。 RAGの性能とエネルギー消費はDeepSeekV3-R1とOpenAIs o4-miniモデルと比較された。 評価には医療質問のデータセットが使用された。 結果 カスタムRAGモデルは、精度とエネルギー消費において商業モデルを上回った。 ラマ3.1:8Bで製造されたRAGモデルは最高精度(58.5%)を達成し、o4-miniやDeepSeekV3-R1など他のモデルよりも大幅に向上した。 ラマ3.1-RAGは全てのモデルの中で最もエネルギー消費が低く、CO2排出量は0.52kWh、CO2排出量は473gであった。 o4-miniと比較すると、ラマ3.1-RAGはkWhあたりの精度が2.7倍、電気使用率が172%低下し、高い精度を維持した。 結論 この研究は, 環境への影響を小さく抑えつつ, 医療業務において, オンラインLLMよりも優れたRAGを開発するために, ローカルLLMを活用できることを実証した。 私たちのモジュラーフレームワークは、持続可能なAI開発を促進し、電力の使用を減らし、国連の持続可能な開発目標と整合する。

関連論文リスト

• Smart Buildings Energy Consumption Forecasting using Adaptive Evolutionary Ensemble Learning Models [23.650796013805937]
  本稿では,Baging,Stacking,Vottingの3つのハイブリッドアンサンブル予測モデルと,高速かつ効果的な進化的ハイパーパラメータチューナを組み合わせることを提案する。 ベルギーのモンス州スタンブロークに18個のセンサを設置し, 気象パラメータ, 家電エネルギー使用量, 温度, 湿度, 照明エネルギー消費のハイブリッドデータセットを用いて, 提案したエネルギー予測モデルの性能を評価した。 予測結果は,適応的進化的バッグングモデルが,精度と学習誤差の両方で他の予測モデルを上回ったことを示している。
  論文  参考訳（メタデータ） (2025-06-13T15:13:15Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• How Hungry is AI? Benchmarking Energy, Water, and Carbon Footprint of LLM Inference [0.0]
  本稿では,商用データセンタにデプロイされる30の最先端モデルを対象とした,AI推論の環境フットプリントを定量化する,新たなインフラストラクチャ対応ベンチマークフレームワークを提案する。 以上の結果から,O3とDeepSeek-R1が最もエネルギー集約的なモデルとして出現し,GPT-4.1ナノの70倍以上のGPT-4.1ナノを消費し,Claude-3.7 Sonnetはエコ効率で最高であることがわかった。 AIは安価で速くなっているが、そのグローバルな採用はリソース消費を不均等にしている。
  論文  参考訳（メタデータ） (2025-05-14T17:47:00Z)
• Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations [2.2765705959685234]
  本研究では,実世界のMLOpsパイプラインにおける識別型および生成型AIモデルのエネルギー消費について検討する。 さまざまな構成、モデル、データセットにわたるレプリケーションの容易性を保証するために、ソフトウェアベースのパワー測定を採用しています。
  論文  参考訳（メタデータ） (2025-03-31T10:28:04Z)
• Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs [96.68469559192846]
  2つの異なる大きさのMoE大言語モデル(LLM)を提示する。 Ling-Liteは168億のパラメータと275億のアクティベートパラメータを持ち、Ling-Plusは2900億のパラメータと288億のアクティベートパラメータを持っている。 本稿では,(1)モデルアーキテクチャとトレーニングプロセスの最適化,(2)トレーニング異常処理の洗練,(3)モデル評価効率の向上のための革新的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T04:43:39Z)
• Finetuning and Quantization of EEG-Based Foundational BioSignal Models on ECG and PPG Data for Blood Pressure Estimation [53.2981100111204]
  光胸腺撮影と心電図は、連続血圧モニタリング(BP)を可能にする可能性がある。 しかし、データ品質と患者固有の要因の変化のため、正確で堅牢な機械学習(ML)モデルは依然として困難である。 本研究では,1つのモータリティで事前学習したモデルを効果的に利用して,異なる信号タイプの精度を向上させる方法について検討する。 本手法は, 拡張期BPの最先端精度を約1.5倍に向上し, 拡張期BPの精度を1.5倍に向上させる。
  論文  参考訳（メタデータ） (2025-02-10T13:33:12Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• REST: Robust and Efficient Neural Networks for Sleep Monitoring in the Wild [62.36144064259933]
  ニューラルネットワークの逆トレーニングとLipschitz定数の制御を通じて、両問題に同時に対処する新しい方法であるRESTを提案する。 私たちは、RESTがノイズの存在下で、オリジナルのフルサイズのモデルを大幅に上回る、ロバストで効率的なモデルを生成することを実証しています。 これらのモデルをスマートフォン上のAndroidアプリケーションにデプロイすることにより、RESTによってモデルが最大17倍のエネルギー削減と9倍高速な推論を達成することができることを定量的に観察する。
  論文  参考訳（メタデータ） (2020-01-29T17:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。