論文の概要: EF-LLM: Energy Forecasting LLM with AI-assisted Automation, Enhanced Sparse Prediction, Hallucination Detection
- arxiv url: http://arxiv.org/abs/2411.00852v2
- Date: Tue, 24 Dec 2024 03:24:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:53:16.367853
- Title: EF-LLM: Energy Forecasting LLM with AI-assisted Automation, Enhanced Sparse Prediction, Hallucination Detection
- Title（参考訳）: EF-LLM:AI支援自動化によるエネルギー予測LLM, スパース予測の強化, 幻覚検出
- Authors: Zihang Qiu, Chaojie Li, Zhongyang Wang, Renyou Xie, Borui Zhang, Huadong Mo, Guo Chen, Zhaoyang Dong,
- Abstract要約: 本稿では,時系列予測のためのドメイン知識と時間データを統合するEnergy Forecasting Large Language Model (EF-LLM)を提案する。
EF-LLMの人間とAIのインタラクション能力は、タスクの予測におけるエントリー障壁を低くし、さらなる専門家の関与の必要性を減らす。
我々は、負荷、太陽光発電、風力発電予測のエネルギー予測シナリオで成功している。
- 参考スコア（独自算出の注目度）: 8.540308127679985
- License:
- Abstract: Accurate prediction helps to achieve supply-demand balance in energy systems, supporting decision-making and scheduling. Traditional models, lacking AI-assisted automation, rely on experts, incur high costs, and struggle with sparse data prediction. To address these challenges, we propose the Energy Forecasting Large Language Model (EF-LLM), which integrates domain knowledge and temporal data for time-series forecasting, supporting both pre-forecast operations and post-forecast decision-support. EF-LLM's human-AI interaction capabilities lower the entry barrier in forecasting tasks, reducing the need for extra expert involvement. To achieve this, we propose a continual learning approach with updatable LoRA and a multi-channel architecture for aligning heterogeneous multimodal data, enabling EF-LLM to continually learn heterogeneous multimodal knowledge. In addition, EF-LLM enables accurate predictions under sparse data conditions through its ability to process multimodal data. We propose Fusion Parameter-Efficient Fine-Tuning (F-PEFT) method to effectively leverage both time-series data and text for this purpose. EF-LLM is also the first energy-specific LLM to detect hallucinations and quantify their occurrence rate, achieved via multi-task learning, semantic similarity analysis, and ANOVA. We have achieved success in energy prediction scenarios for load, photovoltaic, and wind power forecast.
- Abstract（参考訳）: 正確な予測は、エネルギーシステムの需給バランスを達成するのに役立ち、意思決定とスケジューリングをサポートする。
AIによる自動化を欠いた従来のモデルは、専門家に依存し、高いコストを発生させ、スパースデータの予測に苦労する。
これらの課題に対処するために,時系列予測のためのドメイン知識と時間データを統合したEnergy Forecasting Large Language Model (EF-LLM)を提案する。
EF-LLMの人間とAIのインタラクション能力は、タスクの予測におけるエントリー障壁を低くし、さらなる専門家の関与の必要性を減らす。
そこで本稿では, 異種マルチモーダルデータの整合性を実現するために, 更新可能なLoRAとマルチチャネルアーキテクチャを併用した連続学習手法を提案する。
さらに、EF-LLMはマルチモーダルデータを処理することで、スパースデータ条件下での正確な予測を可能にする。
本研究では,この目的のために時系列データとテキストの両方を効果的に活用するために,F-PEFT法を提案する。
また、EF-LLMは幻覚を検知し、その発生率を多タスク学習、意味的類似性分析、およびANOVAによって定量化する最初のエネルギー固有LLMである。
我々は、負荷、太陽光発電、風力発電予測のエネルギー予測シナリオで成功している。
関連論文リスト
- The Price of Prompting: Profiling Energy Use in Large Language Models Inference [5.254805405012678]
本稿では,大規模言語モデル推論プロセスにおいて消費されるエネルギーを監視し,分析するフレームワークであるMELODIを紹介する。
MELODIを使用して生成されたデータセットは、幅広いLLMデプロイメントフレームワーク、複数の言語モデル、広範なプロンプトデータセットを含んでいる。
その結果,エネルギー効率の相違が指摘され,持続可能対策の最適化と導入の十分な範囲が示唆された。
論文 参考訳（メタデータ） (2024-07-04T12:16:28Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳（メタデータ） (2024-06-14T19:24:00Z) - F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。
トレーニング可能なCNNレイヤをいくつか使用すれば、ワードピクセルのアテンション重みをマスクロジットに変換することができる。
我々のF-LMMは特別なセグメンテーショントークンを学習したり、高品質な接地命令チューニングデータを利用したりもしません。
論文 参考訳（メタデータ） (2024-06-09T15:14:26Z) - Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。
The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。
実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
論文 参考訳（メタデータ） (2024-03-22T14:20:34Z) - Towards Better Parameter-Efficient Fine-Tuning for Large Language
Models: A Position Paper [14.081178100662163]
この論文は差し迫った必要性を浮き彫りにする。
-大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT)
本稿は,現状と今後の研究の必要性を明らかにするものである。
論文 参考訳（メタデータ） (2023-11-22T03:28:34Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models [12.708117108874083]
大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。
従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。
本稿では,本論文の総合的研究について述べる。
自動コード生成シナリオにおけるLLMのためのPEFT技術。
論文 参考訳（メタデータ） (2023-08-21T04:31:06Z) - Automated Few-Shot Time Series Forecasting based on Bi-level Programming [5.760976250387322]
本稿では,バイレベルプログラミングの観点から,数発の学習パイプラインの最適設計を自動化するBiLO-Auto-TSF/MLフレームワークを開発する。
提案したBiLO-Auto-TSF/MLフレームワークの有効性を総合的に検証した。
論文 参考訳（メタデータ） (2022-03-07T12:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。