論文の概要: On the Effectiveness of Proposed Techniques to Reduce Energy Consumption in RAG Systems: A Controlled Experiment
- arxiv url: http://arxiv.org/abs/2601.02522v1
- Date: Mon, 05 Jan 2026 19:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.713758
- Title: On the Effectiveness of Proposed Techniques to Reduce Energy Consumption in RAG Systems: A Controlled Experiment
- Title（参考訳）: RAGシステムにおけるエネルギー消費削減のための提案手法の有効性について:制御実験
- Authors: Zhinuan, Guo, Chushu Gao, Justus Bogner,
- Abstract要約: 本研究では,RAGシステムにおけるエネルギー消費削減を目的とした5つの実用技術について検討した。
我々は,これらの技術がエネルギー消費,レイテンシ,精度に与える影響を評価した。
我々は,類似性検索閾値の増大,埋め込みサイズの低減,ベクトルインデックスの適用,BM25Sリランカの使用などにより,最大60%のエネルギー使用量の削減が可能であることを明らかにした。
- 参考スコア（独自算出の注目度）: 2.540905905639813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rising energy demands of machine learning (ML), e.g., implemented in popular variants like retrieval-augmented generation (RAG) systems, have raised significant concerns about their environmental sustainability. While previous research has proposed green tactics for ML-enabled systems, their empirical evaluation within RAG systems remains largely unexplored. This study presents a controlled experiment investigating five practical techniques aimed at reducing energy consumption in RAG systems. Using a production-like RAG system developed at our collaboration partner, the Software Improvement Group, we evaluated the impact of these techniques on energy consumption, latency, and accuracy. Through a total of 9 configurations spanning over 200 hours of trials using the CRAG dataset, we reveal that techniques such as increasing similarity retrieval thresholds, reducing embedding sizes, applying vector indexing, and using a BM25S reranker can significantly reduce energy usage, up to 60% in some cases. However, several techniques also led to unacceptable accuracy decreases, e.g., by up to 30% for the indexing strategies. Notably, finding an optimal retrieval threshold and reducing embedding size substantially reduced energy consumption and latency with no loss in accuracy, making these two techniques truly energy-efficient. We present the first comprehensive, empirical study on energy-efficient design techniques for RAG systems, providing guidance for developers and researchers aiming to build sustainable RAG applications.
- Abstract（参考訳）: 機械学習(ML)のエネルギー需要の増大、例えば、検索強化世代(RAG)システムのような一般的な変種で実装された例は、彼らの環境持続可能性に大きな懸念を提起している。
これまでの研究ではML対応システムの緑化戦略が提案されているが、RAGシステムにおける経験的評価はほとんど未検討である。
本研究では,RAGシステムにおけるエネルギー消費削減を目的とした5つの実用技術について検討した。
コラボレーションパートナーであるソフトウェア改善グループ(Software Improvement Group)で開発されたプロダクションライクなRAGシステムを用いて,これらの技術がエネルギー消費,レイテンシ,精度に与える影響を評価した。
CRAGデータセットを用いた200時間以上の試行期間の合計9つの構成を通じて、類似性検索しきい値の増大、埋め込みサイズの削減、ベクトルインデックスの適用、BM25Sリランカの使用などにより、最大60%のエネルギー使用量の削減が可能であることが判明した。
しかし、いくつかの手法は、例えばインデックス化戦略において、許容できない精度を最大30%低下させる原因となった。
特に、最適な検索しきい値を見つけ、埋め込みサイズを小さくすることで、精度を損なうことなく、エネルギー消費と遅延を大幅に低減し、これら2つの技術は本当にエネルギー効率が良い。
本稿では,RAG システムのためのエネルギー効率設計技術に関する総合的,実証的研究を行い,持続可能なRAG アプリケーションの構築を目指す開発者や研究者にガイダンスを提供する。
関連論文リスト
- Green LLM Techniques in Action: How Effective Are Existing Techniques for Improving the Energy Efficiency of LLM-Based Applications in Industry? [2.3683790724077864]
大規模言語モデル(LLM)の急速な採用により、そのエネルギー消費に対する懸念が高まっている。
オランダのITサービス企業であるSchuberg Philisで、業界状況におけるアプリケーションを分析しました。
プロンプト最適化や2ビット量子化といったいくつかの手法は、エネルギー使用量を最大90%削減することができた。
他の品質を実質的に損なわずに大幅なエネルギー削減を達成した唯一の技術は、NvidiaのPrompt Task and Complexityによる小型で大規模なモデルコラボレーションであった。
論文 参考訳（メタデータ） (2026-01-05T19:35:29Z) - Lightweight LSTM Model for Energy Theft Detection via Input Data Reduction [0.0]
本稿では,プリフィルタとして機能する軽量検出ユニット(watchdog mechanism)を提案する。
LSTMモデルに供給される入力量を削減し、エネルギー盗難の可能性がより高いインスタンスに制限する。
その結果、消費電力の減少は64%を超え、検出精度は最小限に抑えられ、リコールは一貫して高いことがわかった。
論文 参考訳（メタデータ） (2025-06-14T14:40:03Z) - Optimizing Large Language Models: Metrics, Energy Efficiency, and Case Study Insights [2.1249213103048414]
大規模言語モデル(LLM)の急速な採用により、エネルギー消費と二酸化炭素排出量が大きくなった。
本稿では,これらの問題に対処するため,LLMの展開におけるエネルギー効率の最適化手法の統合について検討する。
論文 参考訳（メタデータ） (2025-04-07T21:56:59Z) - AI-in-the-Loop Sensing and Communication Joint Design for Edge Intelligence [65.29835430845893]
本稿では,AI-in-the-loopジョイントセンシングと通信によるエッジインテリジェンス向上のためのフレームワークを提案する。
私たちの研究の重要な貢献は、バリデーション損失とシステムのチューニング可能なパラメータとの間に明確な関係を確立することです。
提案手法は, 通信エネルギー消費を最大77%削減し, 試料数で測定した検知コストを最大52%削減する。
論文 参考訳（メタデータ） (2025-02-14T14:56:58Z) - THOR: A Generic Energy Estimation Approach for On-Device Training [34.57867978862375]
THORは、ディープニューラルネットワーク(DNN)トレーニングにおけるエネルギー消費推定のための一般的なアプローチである。
我々は、様々な現実世界のプラットフォームにまたがる様々なタイプのモデルで広範な実験を行う。
その結果,THORは平均絶対パーセンテージ誤差(MAPE)を最大30%削減した。
論文 参考訳（メタデータ） (2025-01-27T03:29:02Z) - Prompt engineering and its implications on the energy consumption of Large Language Models [4.791072577881446]
ソフトウェア工学における大規模言語モデル(LLM)は、計算資源、データセンター、二酸化炭素排出に関する深刻な問題を引き起こす。
本稿では,コード生成タスクにおけるLlama 3モデルの炭素排出に及ぼすPETの影響について検討する。
論文 参考訳（メタデータ） (2025-01-10T11:49:31Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳（メタデータ） (2023-09-16T11:37:23Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - Demand Responsive Dynamic Pricing Framework for Prosumer Dominated
Microgrids using Multiagent Reinforcement Learning [59.28219519916883]
本稿では,実時間価格(RTP)DR技術を実装したマルチエージェント強化学習に基づく意思決定環境を提案する。
提案手法は,従来のDR法に共通するいくつかの欠点に対処し,グリッド演算子とプロシューマーに大きな経済的利益をもたらす。
論文 参考訳（メタデータ） (2020-09-23T01:44:57Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳（メタデータ） (2020-02-21T02:14:38Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳（メタデータ） (2020-01-31T05:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。