Fugu-MT 論文翻訳(概要): FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

論文の概要: FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

arxiv url: http://arxiv.org/abs/2407.10810v1
Date: Mon, 15 Jul 2024 15:25:45 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 14:30:11.797005
Title: FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries
Title（参考訳）: FabGPT:複雑ウェーハ欠陥知識クエリのための効率的な大規模マルチモーダルモデル
Authors: Yuqi Jiang, Xudong Lu, Qian Jin, Qi Sun, Hanming Wu, Cheng Zhuo,
Abstract要約: 本稿では、ウェハ欠陥知識クエリのためのカスタマイズIC作成大型マルチモーダルモデルであるFabGPTを紹介する。 FabGPTは、走査型電子顕微鏡(SEM)画像における欠陥検出の専門知識を示し、根本原因分析を行い、製造プロセスについて専門的な質問回答(Q&A)を提供する。室内ファブデータ(SEM-WaD)を用いた実験により,FabGPTはウエハ欠陥検出および知識クエリにおいて大幅な性能向上を実現していることがわかった。
参考スコア（独自算出の注目度）: 18.959594069163714
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Intelligence is key to advancing integrated circuit (IC) fabrication. Recent breakthroughs in Large Multimodal Models (LMMs) have unlocked unparalleled abilities in understanding images and text, fostering intelligent fabrication. Leveraging the power of LMMs, we introduce FabGPT, a customized IC fabrication large multimodal model for wafer defect knowledge query. FabGPT manifests expertise in conducting defect detection in Scanning Electron Microscope (SEM) images, performing root cause analysis, and providing expert question-answering (Q&A) on fabrication processes. FabGPT matches enhanced multimodal features to automatically detect minute defects under complex wafer backgrounds and reduce the subjectivity of manual threshold settings. Besides, the proposed modulation module and interactive corpus training strategy embed wafer defect knowledge into the pre-trained model, effectively balancing Q&A queries related to defect knowledge and original knowledge and mitigating the modality bias issues. Experiments on in-house fab data (SEM-WaD) show that our FabGPT achieves significant performance improvement in wafer defect detection and knowledge querying.
Abstract（参考訳）: インテリジェンスは集積回路(IC)製造の進展の鍵である。近年のLMM(Large Multimodal Models)のブレークスルーは、画像やテキストの理解における非並列的な能力を解き放ち、インテリジェントなファブリケーションを育んでいる。 LMMのパワーを生かしたFabGPTは、ウェハ欠陥知識クエリのためのカスタマイズIC作成大型マルチモーダルモデルである。 FabGPTは、走査型電子顕微鏡(SEM)画像における欠陥検出の専門知識を示し、根本原因分析を行い、製造プロセスについて専門的な質問回答(Q&A)を提供する。 FabGPTは強化されたマルチモーダル機能と一致し、複雑なウエハ背景下での微小欠陥を自動的に検出し、手動閾値設定の主観性を低下させる。さらに,提案した変調モジュールと対話型コーパストレーニング戦略は,ウェハ欠陥知識を事前学習モデルに組み込み,欠陥知識と元の知識に関するQ&Aクエリを効果的にバランスさせ,モダリティバイアス問題を緩和する。室内ファブデータ(SEM-WaD)を用いた実験により,FabGPTはウエハ欠陥検出および知識クエリにおいて大幅な性能向上を実現していることがわかった。

関連論文リスト

Scalable AI Framework for Defect Detection in Metal Additive Manufacturing [2.303463009749888]
我々は、畳み込みニューラルネットワーク(CNN)を利用してプリント層の熱画像を分析し、これらの特性に影響を与える異常を自動的に識別する。我々はこれらのモデルをCLoud ADditive Manufacturing (CLADMA)モジュールに統合し、AMアプリケーションのアクセシビリティと実用性を向上させる。
論文参考訳（メタデータ） (2024-11-01T18:17:59Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
DefectTwin: When LLM Meets Digital Twin for Railway Defect Inspection [5.601042583221173]
Digital Twin(DT)は、オブジェクト、プロセス、あるいはシステムがリアルタイム監視、シミュレーション、予測保守のために複製される。大規模言語モデル(LLM)のような最近の進歩は、従来のAIシステムに革命をもたらし、鉄道欠陥検査などの産業応用においてDTと組み合わせることで、大きな可能性を秘めている。鉄道における視覚的欠陥と視覚的欠陥の両方を分析するために,マルチモーダル・マルチモデル (M2) LLMベースのAIパイプラインを利用するDefectTwinを紹介した。
論文参考訳（メタデータ） (2024-08-26T22:32:31Z)
MemoryMamba: Memory-Augmented State Space Model for Defect Recognition [9.275151912667686]
既存の欠陥認識手法の視覚モデルは、現代の製造環境における欠陥の複雑さやバリエーションを扱うには不十分である。本稿では,新しいメモリ拡張状態空間モデル(SSM)であるMemoryMambaを紹介する。 MemoryMambaは、ステートスペースモデルとメモリ拡張メカニズムを統合することで、システムはトレーニングにおいて不可欠な欠陥固有の情報を維持および取得することができる。
論文参考訳（メタデータ） (2024-05-06T17:49:31Z)
Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-06T11:32:41Z)
Joint Attention-Guided Feature Fusion Network for Saliency Detection of Surface Defects [69.39099029406248]
本稿では,エンコーダ・デコーダネットワークに基づく表面欠陥検出のための共同注意誘導型特徴融合ネットワーク(JAFFNet)を提案する。 JAFFNetは、主にJAFFモジュールをデコードステージに組み込んで、低レベルと高レベルの機能を適応的に融合させる。 SD- Saliency-900, Magnetic tile, and DAGM 2007 で行った実験から,本手法が他の最先端手法と比較して有望な性能を達成できたことが示唆された。
論文参考訳（メタデータ） (2024-02-05T08:10:16Z)
Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文参考訳（メタデータ） (2023-09-22T06:55:41Z)
CINFormer: Transformer network with multi-stage CNN feature injection for surface defect segmentation [73.02218479926469]
表面欠陥分割のための多段CNN特徴注入を用いた変圧器ネットワークを提案する。 CINFormerは、入力画像のマルチレベルCNN機能をエンコーダ内のトランスフォーマーネットワークの異なるステージに注入する、シンプルだが効果的な機能統合機構を提供する。さらに、CINFormerはTop-Kセルフアテンションモジュールを提供し、欠陥に関するより重要な情報を持つトークンにフォーカスする。
論文参考訳（メタデータ） (2023-09-22T06:12:02Z)
Mixed-Type Wafer Classification For Low Memory Devices Using Knowledge Distillation [0.5261718469769447]
ウェーハマップの欠陥パターン認識(DPR)は、生産欠陥の根本原因を決定するために重要である。本研究では,複雑な事前学習モデルから軽量な展開対応モデルへの知識を抽出するための教師なしトレーニングルーチンを提案する。本研究では,教師モデルよりも最大10倍小さいにもかかわらず,精度を犠牲にすることなくモデルを圧縮できることを実証的に示す。
論文参考訳（メタデータ） (2023-03-24T12:52:43Z)
Cognitive Visual Inspection Service for LCD Manufacturing Industry [80.63336968475889]
本論文では,現在FPD業界で主流となっている液晶ディスプレイ(LCD)の視覚検査システムについて述べる。システムは、堅牢/高性能欠陥認識モデルと認知視覚検査サービスアーキテクチャの2つの基礎に基づいています。
論文参考訳（メタデータ） (2021-01-11T08:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。