論文の概要: Towards General Industrial Intelligence: A Survey of Continual Large Models in Industrial IoT

• arxiv url: http://arxiv.org/abs/2409.01207v2
• Date: Fri, 27 Dec 2024 01:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:21:50.693305
• Title: Towards General Industrial Intelligence: A Survey of Continual Large Models in Industrial IoT
• Title（参考訳）: 一般産業インテリジェンスに向けて:産業用IoTにおける連続的大規模モデルの調査
• Authors: Jiao Chen, Jiayi He, Fangfang Chen, Zuohong Lv, Jianhua Tang, Weihua Li, Zuozhu Liu, Howard H. Yang, Guangjie Han,
• Abstract要約: 本調査では,大規模モデル(LM)とのIIoT統合とその産業環境への応用について検討する。 我々は,言語ベース,視覚ベース,時系列,マルチモーダルモデルという,産業用LMの4つの主要なタイプに注目した。 IIoTが豊富な多様なデータリソースをどのように提供するかを分析し、LMのトレーニングと微調整をサポートする。
• 参考スコア（独自算出の注目度）: 25.16997700703974
• License:
• Abstract: Industrial AI is transitioning from traditional deep learning models to large-scale transformer-based architectures, with the Industrial Internet of Things (IIoT) playing a pivotal role. IIoT evolves from a simple data pipeline to an intelligent infrastructure, enabling and enhancing these advanced AI systems. This survey explores the integration of IIoT with large models (LMs) and their potential applications in industrial environments. We focus on four primary types of industrial LMs: language-based, vision-based, time-series, and multimodal models. The lifecycle of LMs is segmented into four critical phases: data foundation, model training, model connectivity, and continuous evolution. First, we analyze how IIoT provides abundant and diverse data resources, supporting the training and fine-tuning of LMs. Second, we discuss how IIoT offers an efficient training infrastructure in low-latency and bandwidth-optimized environments. Third, we highlight the deployment advantages of LMs within IIoT, emphasizing IIoT's role as a connectivity nexus fostering emergent intelligence through modular design, dynamic routing, and model merging to enhance system scalability and adaptability. Finally, we demonstrate how IIoT supports continual learning mechanisms, enabling LMs to adapt to dynamic industrial conditions and ensure long-term effectiveness. This paper underscores IIoT's critical role in the evolution of industrial intelligence with large models, offering a theoretical framework and actionable insights for future research.
• Abstract（参考訳）: 産業用AIは、従来のディープラーニングモデルから大規模なトランスフォーマーベースのアーキテクチャへと移行しており、IIoT(Industrial Internet of Things)が重要な役割を担っている。 IIoTは、単純なデータパイプラインからインテリジェントなインフラストラクチャへと進化し、これらの高度なAIシステムを実現し、拡張する。 本調査では,大規模モデル(LM)とのIIoT統合とその産業環境への応用について検討する。 我々は,言語ベース,視覚ベース,時系列,マルチモーダルモデルという,産業用LMの4つの主要なタイプに注目した。 LMのライフサイクルは、データ基盤、モデルトレーニング、モデル接続性、継続的な進化の4つの重要なフェーズに分けられる。 まず、IIoTが豊富な多様なデータリソースをどのように提供するかを分析し、LMのトレーニングと微調整をサポートする。 次に、低レイテンシおよび帯域幅最適化環境で、IIoTが効率的なトレーニングインフラを提供する方法について論じる。 第3に、IIoT内のLMのデプロイメント上のメリットを強調し、モジュール設計、動的ルーティング、モデルマージによる創発的インテリジェンス向上によるシステムスケーラビリティと適応性向上というIIoTの役割を強調します。 最後に、IIoTが継続学習メカニズムをどのようにサポートし、LMが動的産業条件に適応し、長期的有効性を確保するかを示す。 本稿では,IIoTの産業インテリジェンスの発展における重要な役割を大規模モデルで説明し,今後の研究に理論的枠組みと実用的な洞察を提供する。

関連論文リスト

• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Long Term Memory: The Foundation of AI Self-Evolution [48.52678410533424]
  GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。 ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。 大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
  論文  参考訳（メタデータ） (2024-10-21T06:09:30Z)
• Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
  本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。 ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。 微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T04:21:53Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Industrial Language-Image Dataset (ILID): Adapting Vision Foundation Models for Industrial Settings [0.0]
  産業用言語画像データセット(ILID)をWebcrawledデータに基づいて生成するパイプラインを提案する。 本稿では,安価なILIDを学習した後に,効果的な自己指導型トランスファー学習と下流タスクの議論を行う。
  論文  参考訳（メタデータ） (2024-06-14T00:06:52Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• A Multi-Stage Automated Online Network Data Stream Analytics Framework for IIoT Systems [10.350337750192997]
  IIoTシステムにおけるコンセプトドリフト適応のための新しいMulti-Stage Automated Network Analytics(MSANA)フレームワークを提案する。 MSANAは、動的データ前処理、Driftベースの動的特徴選択(DD-FS)メソッド、動的モデル学習と選択、ウィンドウベースのパフォーマンス重み付き確率平均アンサンブル(W-PWPAE)モデルで構成されている。 それは完全な自動データストリーム分析フレームワークで、産業用5.0におけるIIoTシステムの自動的、効率的、効率的なデータ分析を可能にする。
  論文  参考訳（メタデータ） (2022-10-05T02:18:36Z)
• Federated Learning for Industrial Internet of Things in Future Industries [106.13524161081355]
  産業用IoT(Industrial Internet of Things)は,産業用システムの運用を変革する有望な機会を提供する。 近年、人工知能(AI)はインテリジェントIIoTアプリケーションの実現に広く利用されている。 フェデレートラーニング(FL)は、複数のIIoTデバイスとマシンを協調して、ネットワークエッジでAIトレーニングを実行することで、インテリジェントなIIoTネットワークにとって特に魅力的である。
  論文  参考訳（メタデータ） (2021-05-31T01:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。