論文の概要: FPE-LLM: Highly Intelligent Time-Series Forecasting and Language Interaction LLM in Energy Systems

• arxiv url: http://arxiv.org/abs/2411.00852v1
• Date: Wed, 30 Oct 2024 11:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:28:20.634456
• Title: FPE-LLM: Highly Intelligent Time-Series Forecasting and Language Interaction LLM in Energy Systems
• Title（参考訳）: FPE-LLM:エネルギーシステムにおける高インテリジェント時系列予測と言語間相互作用LLM
• Authors: Zihang Qiu, Chaojie Li, Zhongyang Wang, Huadong Mo, Renyou Xie, Guo Chen, Zhaoyang Dong,
• Abstract要約: Fusion PEFT Energy LLM (FPE-LLM) は、エネルギーシステム予測のための大規模言語モデル(LLM)である。 FPE-LLMはエネルギーシステムとLLMフィールドにおける3つの重要な課題に対処する。
• 参考スコア（独自算出の注目度）: 5.218730690088186
• License:
• Abstract: This paper introduces Fusion PEFT Energy LLM (FPE-LLM), a large language model (LLM) fine-tuned for energy system forecasting using a combination of Prefix and Lora Parameter-Efficient Fine-Tuning (PEFT) methods. FPE-LLM addresses three key challenges in the energy system and LLM fields: 1. Enhancing few-shot learning for handling extreme environmental conditions. FPE-LLM can leverage both textual and time-series data to achieve accurate predictions in few-shot contexts. 2. Reducing dependence on expert input to improve efficiency. FPE-LLM can provide guidance and results on related problems, acting like an expert system. Even non-experts can use FPE-LLM to complete all tasks related to forecasting and its associated tasks. 3. Mitigating hallucination risks through standardized fine-tuning. We validated this through multi-task learning and the self-reasoning characteristics of LLMs. Our research opens the door to fully realizing the intelligent potential of FPE-LLM in the energy forecasting field. With the injection of more knowledge and data, FPE-LLM is expected to replace a significant amount of manual work and contribute to the stability and efficiency of energy forecasting.
• Abstract（参考訳）: 本稿では,大言語モデル (LLM) であるFusion PEFT Energy LLM (FPE-LLM) を紹介する。 FPE-LLMはエネルギーシステムとLLM分野における3つの重要な課題に対処する。 1.極度の環境条件に対処するための数発の学習の強化。 FPE-LLMはテキストと時系列のデータを利用して、数ショットのコンテキストで正確な予測を行うことができる。 2. 効率を向上させるため、専門家の入力への依存を減らすこと。 FPE-LLMは、エキスパートシステムのように振る舞う、関連する問題に関するガイダンスと結果を提供することができる。 非専門家でさえ、予測や関連するタスクに関連するすべてのタスクを完了するためにFPE-LLMを使用することができる。 3.標準化された微調整による幻覚リスクの緩和 マルチタスク学習とLLMの自己推論特性を用いてこれを検証した。 我々の研究は、エネルギー予測分野におけるFPE-LLMの知的ポテンシャルを完全に実現するための扉を開く。 より多くの知識とデータを注入することで、FPE-LLMは大量の手作業を置き換えることが期待され、エネルギー予測の安定性と効率に寄与する。

関連論文リスト

• The Price of Prompting: Profiling Energy Use in Large Language Models Inference [5.254805405012678]
  本稿では,大規模言語モデル推論プロセスにおいて消費されるエネルギーを監視し,分析するフレームワークであるMELODIを紹介する。 MELODIを使用して生成されたデータセットは、幅広いLLMデプロイメントフレームワーク、複数の言語モデル、広範なプロンプトデータセットを含んでいる。 その結果,エネルギー効率の相違が指摘され,持続可能対策の最適化と導入の十分な範囲が示唆された。
  論文  参考訳（メタデータ） (2024-07-04T12:16:28Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
  我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。 トレーニング可能なCNNレイヤをいくつか使用すれば、ワードピクセルのアテンション重みをマスクロジットに変換することができる。 我々のF-LMMは特別なセグメンテーショントークンを学習したり、高品質な接地命令チューニングデータを利用したりもしません。
  論文  参考訳（メタデータ） (2024-06-09T15:14:26Z)
• Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
  MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。 実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:20:34Z)
• Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper [14.081178100662163]
  この論文は差し迫った必要性を浮き彫りにする。 -大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT) 本稿は,現状と今後の研究の必要性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-11-22T03:28:34Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [12.708117108874083]
  大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。 従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。 本稿では,本論文の総合的研究について述べる。 自動コード生成シナリオにおけるLLMのためのPEFT技術。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Automated Few-Shot Time Series Forecasting based on Bi-level Programming [5.760976250387322]
  本稿では,バイレベルプログラミングの観点から,数発の学習パイプラインの最適設計を自動化するBiLO-Auto-TSF/MLフレームワークを開発する。 提案したBiLO-Auto-TSF/MLフレームワークの有効性を総合的に検証した。
  論文  参考訳（メタデータ） (2022-03-07T12:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。