論文の概要: Towards General Industrial Intelligence: A Survey on IIoT-Enhanced Continual Large Models
- arxiv url: http://arxiv.org/abs/2409.01207v1
- Date: Mon, 2 Sep 2024 12:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 06:47:21.129133
- Title: Towards General Industrial Intelligence: A Survey on IIoT-Enhanced Continual Large Models
- Title（参考訳）: 一般産業インテリジェンスに向けて:IIoT強化型連続型大規模モデルに関する調査
- Authors: Jiao Chen, Jiayi He, Fangfang Chen, Zuohong Lv, Jianhua Tang, Weihua Li, Zuozhu Liu, Howard H. Yang, Guangjie Han,
- Abstract要約: トランスフォーマーベース大規模モデル(LM)は、AIGC(AIGC)における印象的な能力を実証した
本報告では, IIoTによる一般産業情報(GII)へのLMの統合について検討する。
- 参考スコア（独自算出の注目度）: 25.16997700703974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, most applications in the Industrial Internet of Things (IIoT) still rely on CNN-based neural networks. Although Transformer-based large models (LMs), including language, vision, and multimodal models, have demonstrated impressive capabilities in AI-generated content (AIGC), their application in industrial domains, such as detection, planning, and control, remains relatively limited. Deploying pre-trained LMs in industrial environments often encounters the challenge of stability and plasticity due to the complexity of tasks, the diversity of data, and the dynamic nature of user demands. To address these challenges, the pre-training and fine-tuning strategy, coupled with continual learning, has proven to be an effective solution, enabling models to adapt to dynamic demands while continuously optimizing their inference and decision-making capabilities. This paper surveys the integration of LMs into IIoT-enhanced General Industrial Intelligence (GII), focusing on two key areas: LMs for GII and LMs on GII. The former focuses on leveraging LMs to provide optimized solutions for industrial application challenges, while the latter investigates continuous optimization of LMs learning and inference capabilities in collaborative scenarios involving industrial devices, edge computing, and cloud computing. This paper provides insights into the future development of GII, aiming to establish a comprehensive theoretical framework and research direction for GII, thereby advancing GII towards a more general and adaptive future.
- Abstract（参考訳）: 現在、Industrial Internet of Things(IIoT)のほとんどのアプリケーションは、依然としてCNNベースのニューラルネットワークに依存している。
言語、ビジョン、マルチモーダルモデルを含むトランスフォーマーベースの大規模モデル(LM)は、AIGC(AIGC)において印象的な能力を示してきたが、検出、計画、制御といった産業分野への応用は依然として比較的限られている。
産業環境に事前訓練されたLMを配置することは、タスクの複雑さ、データの多様性、ユーザ要求の動的性質などにより、安定性と可塑性の課題に直面することが多い。
これらの課題に対処するために、事前学習と微調整の戦略と継続的学習は効果的なソリューションであることが証明され、モデルが動的要求に適応し、推論と意思決定能力を継続的に最適化できるようになりました。
本稿では, GII における LM と GII 上の LM の2つの重要な領域に着目し, IIoT による汎用産業情報 (GII) への LM の統合について検討する。
前者は産業用アプリケーションの課題に対して最適化されたソリューションを提供するためにLMを活用することに焦点を当て、後者は産業用デバイス、エッジコンピューティング、クラウドコンピューティングを含む協調シナリオにおけるLM学習と推論機能の継続的な最適化について研究している。
本稿では,より汎用的で適応的な未来に向けて,GIIの総合的な理論枠組みと研究方向性を確立することを目的とした,GIIの今後の発展に関する知見を提供する。
関連論文リスト
- LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。
PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。
PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
論文 参考訳（メタデータ） (2024-10-26T13:19:57Z) - Long Term Memory: The Foundation of AI Self-Evolution [48.52678410533424]
GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。
ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。
大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
論文 参考訳（メタデータ） (2024-10-21T06:09:30Z) - Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。
ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。
微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
論文 参考訳（メタデータ） (2024-10-04T04:21:53Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - Industrial Language-Image Dataset (ILID): Adapting Vision Foundation Models for Industrial Settings [0.0]
産業用言語画像データセット(ILID)をWebcrawledデータに基づいて生成するパイプラインを提案する。
本稿では,安価なILIDを学習した後に,効果的な自己指導型トランスファー学習と下流タスクの議論を行う。
論文 参考訳（メタデータ） (2024-06-14T00:06:52Z) - Forging Vision Foundation Models for Autonomous Driving: Challenges,
Methodologies, and Opportunities [59.02391344178202]
ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。
総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。
本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
論文 参考訳（メタデータ） (2024-01-16T01:57:24Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - A Multi-Stage Automated Online Network Data Stream Analytics Framework
for IIoT Systems [10.350337750192997]
IIoTシステムにおけるコンセプトドリフト適応のための新しいMulti-Stage Automated Network Analytics(MSANA)フレームワークを提案する。
MSANAは、動的データ前処理、Driftベースの動的特徴選択(DD-FS)メソッド、動的モデル学習と選択、ウィンドウベースのパフォーマンス重み付き確率平均アンサンブル(W-PWPAE)モデルで構成されている。
それは完全な自動データストリーム分析フレームワークで、産業用5.0におけるIIoTシステムの自動的、効率的、効率的なデータ分析を可能にする。
論文 参考訳（メタデータ） (2022-10-05T02:18:36Z) - Federated Learning for Industrial Internet of Things in Future
Industries [106.13524161081355]
産業用IoT(Industrial Internet of Things)は,産業用システムの運用を変革する有望な機会を提供する。
近年、人工知能(AI)はインテリジェントIIoTアプリケーションの実現に広く利用されている。
フェデレートラーニング(FL)は、複数のIIoTデバイスとマシンを協調して、ネットワークエッジでAIトレーニングを実行することで、インテリジェントなIIoTネットワークにとって特に魅力的である。
論文 参考訳（メタデータ） (2021-05-31T01:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。