論文の概要: DefectTwin: When LLM Meets Digital Twin for Railway Defect Inspection
- arxiv url: http://arxiv.org/abs/2409.06725v1
- Date: Mon, 26 Aug 2024 22:32:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-15 05:11:34.147367
- Title: DefectTwin: When LLM Meets Digital Twin for Railway Defect Inspection
- Title（参考訳）: DefectTwin: LLMが鉄道欠陥検査のデジタルツインに出会ったとき
- Authors: Rahatara Ferdousi, M. Anwar Hossain, Chunsheng Yang, Abdulmotaleb El Saddik,
- Abstract要約: Digital Twin(DT)は、オブジェクト、プロセス、あるいはシステムがリアルタイム監視、シミュレーション、予測保守のために複製される。
大規模言語モデル(LLM)のような最近の進歩は、従来のAIシステムに革命をもたらし、鉄道欠陥検査などの産業応用においてDTと組み合わせることで、大きな可能性を秘めている。
鉄道における視覚的欠陥と視覚的欠陥の両方を分析するために,マルチモーダル・マルチモデル (M2) LLMベースのAIパイプラインを利用するDefectTwinを紹介した。
- 参考スコア（独自算出の注目度）: 5.601042583221173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A Digital Twin (DT) replicates objects, processes, or systems for real-time monitoring, simulation, and predictive maintenance. Recent advancements like Large Language Models (LLMs) have revolutionized traditional AI systems and offer immense potential when combined with DT in industrial applications such as railway defect inspection. Traditionally, this inspection requires extensive defect samples to identify patterns, but limited samples can lead to overfitting and poor performance on unseen defects. Integrating pre-trained LLMs into DT addresses this challenge by reducing the need for vast sample data. We introduce DefectTwin, which employs a multimodal and multi-model (M^2) LLM-based AI pipeline to analyze both seen and unseen visual defects in railways. This application enables a railway agent to perform expert-level defect analysis using consumer electronics (e.g., tablets). A multimodal processor ensures responses are in a consumable format, while an instant user feedback mechanism (instaUF) enhances Quality-of-Experience (QoE). The proposed M^2 LLM outperforms existing models, achieving high precision (0.76-0.93) across multimodal inputs including text, images, and videos of pre-trained defects, and demonstrates superior zero-shot generalizability for unseen defects. We also evaluate the latency, token count, and usefulness of responses generated by DefectTwin on consumer devices. To our knowledge, DefectTwin is the first LLM-integrated DT designed for railway defect inspection.
- Abstract（参考訳）: Digital Twin(DT)は、オブジェクト、プロセス、あるいはシステムがリアルタイム監視、シミュレーション、予測保守のために複製される。
大規模言語モデル(LLM)のような最近の進歩は、従来のAIシステムに革命をもたらし、鉄道欠陥検査などの産業応用においてDTと組み合わせることで、大きな可能性を秘めている。
従来、この検査はパターンを特定するために広範な欠陥サンプルを必要とするが、限られたサンプルは過度に適合し、目に見えない欠陥に対してパフォーマンスが低下する可能性がある。
事前トレーニングされたLLMをDTに統合することは、膨大なサンプルデータの必要性を減らすことで、この課題に対処する。
本稿では,マルチモーダル・マルチモデル (M^2) LLMベースのAIパイプラインを用いたDefectTwinについて紹介する。
この応用により、鉄道事業者は、家電(例えばタブレット)を用いて専門家レベルの欠陥解析を行うことができる。
マルチモーダルプロセッサは、応答が消費可能なフォーマットであることを保証する一方、インスタントユーザフィードバック機構(instaUF)はQuality-of-Experience(QoE)を強化する。
提案したM^2 LLMは既存のモデルよりも優れており、テキスト、画像、事前訓練された欠陥のビデオを含むマルチモーダル入力に対して高い精度 (0.76-0.93) を実現し、目に見えない欠陥に対して優れたゼロショット一般化性を示す。
また,DefectTwinがコンシューマデバイス上で生成した応答のレイテンシ,トークン数,有用性も評価した。
我々の知る限り、DefectTwinは、鉄道欠陥検査用に設計された最初のLCM統合DTである。
関連論文リスト
- Automated Detection of Defects on Metal Surfaces using Vision Transformers [1.6381055567716192]
深層学習技術を用いた視覚変換器(ViT)を用いた金属表面欠陥検出モデルの開発
提案モデルは,特徴抽出のためのViTを用いた欠陥の分類と局所化に焦点を当てている。
実験結果から, 自動欠陥検出, 運転効率の向上, 金属製造における誤差の低減に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-10-06T10:29:45Z) - Investigation on domain adaptation of additive manufacturing monitoring systems to enhance digital twin reusability [12.425166883814153]
機械学習(ML)ベースのモデリングを使用したデジタルツイン(DT)は、AMプロセスの監視と制御のためにデプロイできる。
メルトプールは、プロセス監視において最もよく見られる物理現象の1つである。
本稿では,AM DTの再利用性を高めるため,異なるAM設定間の知識伝達パイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-19T13:54:01Z) - An Evaluation of Continual Learning for Advanced Node Semiconductor Defect Inspection [0.11184789007828977]
本研究は,半導体欠陥検査におけるタスクに依存しないメタラーニング手法を提案する。
新しい欠陥クラスとスケールの漸進的な追加を可能にし、より堅牢で一般化されたモデルを作成する。
我々は、ADIとAEIの2つのプロセスステップに対して、実際のレジストウェハSEM(Scanning Electron Microscopy)データセットを用いて、我々のアプローチをベンチマークした。
論文 参考訳（メタデータ） (2024-07-17T16:41:22Z) - Incomplete Multimodal Industrial Anomaly Detection via Cross-Modal Distillation [0.0]
3次元点雲とRGB画像に基づくマルチモーダル産業異常検出(IAD)は現在も進行中である。
既存の品質制御プロセスは、光学および赤外線イメージングのような高速なインライン検査と高解像度だが時間を要するニアラインキャラクタリゼーション技術を組み合わせている。
IADのためのクロスモーダル蒸留フレームワークであるCMDIADを提案する。
論文 参考訳（メタデータ） (2024-05-22T12:08:56Z) - Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳（メタデータ） (2024-01-06T07:30:41Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - Myriad: Large Multimodal Model by Applying Vision Experts for Industrial
Anomaly Detection [89.49244928440221]
産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデル(Myriad)を提案する。
具体的には,MiniGPT-4をベースLMMとして採用し,Large Language Models (LLM) に理解可能なトークンとして,視覚専門家の事前知識を埋め込むために,Expert Perceptionモジュールを設計する。
視覚専門家の誤りや混乱を補うために,一般画像と産業画像の視覚的表現ギャップを埋めるために,ドメインアダプタを導入する。
論文 参考訳（メタデータ） (2023-10-29T16:49:45Z) - Detecting train driveshaft damages using accelerometer signals and
Differential Convolutional Neural Networks [67.60224656603823]
本稿では,高度2次元畳み込みニューラルネットワーク(CNN)アーキテクチャに基づく鉄道軸状態監視システムの開発を提案する。
その結果,鉄道軸受振動信号を時間周波数領域表現,すなわち分光図に変換し,そのひび割れに応じて2次元CNNを訓練する。
論文 参考訳（メタデータ） (2022-11-15T15:04:06Z) - Detecting Faults during Automatic Screwdriving: A Dataset and Use Case
of Anomaly Detection for Automatic Screwdriving [80.6725125503521]
障害検出に機械学習(ML)を使用したデータ駆動型アプローチが最近注目されている。
本稿では,自動スクリュー運転時の故障検出にMLモデルを用いた場合について述べる。
論文 参考訳（メタデータ） (2021-07-05T11:46:00Z) - Computer Vision and Normalizing Flow Based Defect Detection [0.0]
本稿では,オブジェクト検出モデルYOLOとフローベース欠陥検出モデルDifferNetに基づく2段階欠陥検出ネットワークを提案する。
本モデルは,生産ライン監視システムから撮影した実世界のビデオクリップを用いた欠陥検出において,高い堅牢性と性能を有する。
提案モデルでは,単一製品や複数製品の欠陥のない少数のサンプルを学習できる。
論文 参考訳（メタデータ） (2020-12-12T05:38:21Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。