Fugu-MT 論文翻訳(概要): FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

論文の概要: FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

arxiv url: http://arxiv.org/abs/2407.10810v1
Date: Mon, 15 Jul 2024 15:25:45 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 14:30:11.797005
Title: FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries
Title（参考訳）: FabGPT:複雑ウェーハ欠陥知識クエリのための効率的な大規模マルチモーダルモデル
Authors: Yuqi Jiang, Xudong Lu, Qian Jin, Qi Sun, Hanming Wu, Cheng Zhuo,
Abstract要約: 本稿では、ウェハ欠陥知識クエリのためのカスタマイズIC作成大型マルチモーダルモデルであるFabGPTを紹介する。 FabGPTは、走査型電子顕微鏡(SEM)画像における欠陥検出の専門知識を示し、根本原因分析を行い、製造プロセスについて専門的な質問回答(Q&A)を提供する。室内ファブデータ(SEM-WaD)を用いた実験により,FabGPTはウエハ欠陥検出および知識クエリにおいて大幅な性能向上を実現していることがわかった。
参考スコア（独自算出の注目度）: 18.959594069163714
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Intelligence is key to advancing integrated circuit (IC) fabrication. Recent breakthroughs in Large Multimodal Models (LMMs) have unlocked unparalleled abilities in understanding images and text, fostering intelligent fabrication. Leveraging the power of LMMs, we introduce FabGPT, a customized IC fabrication large multimodal model for wafer defect knowledge query. FabGPT manifests expertise in conducting defect detection in Scanning Electron Microscope (SEM) images, performing root cause analysis, and providing expert question-answering (Q&A) on fabrication processes. FabGPT matches enhanced multimodal features to automatically detect minute defects under complex wafer backgrounds and reduce the subjectivity of manual threshold settings. Besides, the proposed modulation module and interactive corpus training strategy embed wafer defect knowledge into the pre-trained model, effectively balancing Q&A queries related to defect knowledge and original knowledge and mitigating the modality bias issues. Experiments on in-house fab data (SEM-WaD) show that our FabGPT achieves significant performance improvement in wafer defect detection and knowledge querying.
Abstract（参考訳）: インテリジェンスは集積回路(IC)製造の進展の鍵である。近年のLMM(Large Multimodal Models)のブレークスルーは、画像やテキストの理解における非並列的な能力を解き放ち、インテリジェントなファブリケーションを育んでいる。 LMMのパワーを生かしたFabGPTは、ウェハ欠陥知識クエリのためのカスタマイズIC作成大型マルチモーダルモデルである。 FabGPTは、走査型電子顕微鏡(SEM)画像における欠陥検出の専門知識を示し、根本原因分析を行い、製造プロセスについて専門的な質問回答(Q&A)を提供する。 FabGPTは強化されたマルチモーダル機能と一致し、複雑なウエハ背景下での微小欠陥を自動的に検出し、手動閾値設定の主観性を低下させる。さらに,提案した変調モジュールと対話型コーパストレーニング戦略は,ウェハ欠陥知識を事前学習モデルに組み込み,欠陥知識と元の知識に関するQ&Aクエリを効果的にバランスさせ,モダリティバイアス問題を緩和する。室内ファブデータ(SEM-WaD)を用いた実験により,FabGPTはウエハ欠陥検出および知識クエリにおいて大幅な性能向上を実現していることがわかった。

関連論文リスト

YOLO-pdd: A Novel Multi-scale PCB Defect Detection Method Using Deep Representations with Sequential Images [7.368447690189973]
本稿では,CNNに基づくPCB欠陥検出のための高精度で堅牢でリアルタイムなエンドツーエンド手法を提案する。本稿では, YOLOv5とマルチスケールモジュールを組み合わせた階層的残差接続手法を提案する。大規模PCBデータセットの実験では、既存の手法と比較して精度、リコール、F1スコアが大幅に改善された。
論文参考訳（メタデータ） (2024-07-22T07:08:22Z)
MemoryMamba: Memory-Augmented State Space Model for Defect Recognition [9.275151912667686]
既存の欠陥認識手法の視覚モデルは、現代の製造環境における欠陥の複雑さやバリエーションを扱うには不十分である。本稿では,新しいメモリ拡張状態空間モデル(SSM)であるMemoryMambaを紹介する。 MemoryMambaは、ステートスペースモデルとメモリ拡張メカニズムを統合することで、システムはトレーニングにおいて不可欠な欠陥固有の情報を維持および取得することができる。
論文参考訳（メタデータ） (2024-05-06T17:49:31Z)
Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-06T11:32:41Z)
Joint Attention-Guided Feature Fusion Network for Saliency Detection of Surface Defects [69.39099029406248]
本稿では,エンコーダ・デコーダネットワークに基づく表面欠陥検出のための共同注意誘導型特徴融合ネットワーク(JAFFNet)を提案する。 JAFFNetは、主にJAFFモジュールをデコードステージに組み込んで、低レベルと高レベルの機能を適応的に融合させる。 SD- Saliency-900, Magnetic tile, and DAGM 2007 で行った実験から,本手法が他の最先端手法と比較して有望な性能を達成できたことが示唆された。
論文参考訳（メタデータ） (2024-02-05T08:10:16Z)
Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [89.49244928440221]
産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデル(Myriad)を提案する。具体的には,MiniGPT-4をベースLMMとして採用し,Large Language Models (LLM) に理解可能なトークンとして,視覚専門家の事前知識を埋め込むために,Expert Perceptionモジュールを設計する。視覚専門家の誤りや混乱を補うために,一般画像と産業画像の視覚的表現ギャップを埋めるために,ドメインアダプタを導入する。
論文参考訳（メタデータ） (2023-10-29T16:49:45Z)
Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文参考訳（メタデータ） (2023-09-22T06:55:41Z)
CINFormer: Transformer network with multi-stage CNN feature injection for surface defect segmentation [73.02218479926469]
表面欠陥分割のための多段CNN特徴注入を用いた変圧器ネットワークを提案する。 CINFormerは、入力画像のマルチレベルCNN機能をエンコーダ内のトランスフォーマーネットワークの異なるステージに注入する、シンプルだが効果的な機能統合機構を提供する。さらに、CINFormerはTop-Kセルフアテンションモジュールを提供し、欠陥に関するより重要な情報を持つトークンにフォーカスする。
論文参考訳（メタデータ） (2023-09-22T06:12:02Z)
Mixed-Type Wafer Classification For Low Memory Devices Using Knowledge Distillation [0.5261718469769447]
ウェーハマップの欠陥パターン認識(DPR)は、生産欠陥の根本原因を決定するために重要である。本研究では,複雑な事前学習モデルから軽量な展開対応モデルへの知識を抽出するための教師なしトレーニングルーチンを提案する。本研究では,教師モデルよりも最大10倍小さいにもかかわらず,精度を犠牲にすることなくモデルを圧縮できることを実証的に示す。
論文参考訳（メタデータ） (2023-03-24T12:52:43Z)
A Feature Memory Rearrangement Network for Visual Inspection of Textured Surface Defects Toward Edge Intelligent Manufacturing [4.33060257697635]
本稿では,様々なテクスチャ欠陥を同時に検出するための,教師なし機能メモリ再構成ネットワーク(FMR-Net)を提案する。人工的な人工的な欠陥を用いて、モデルが異常を認識できるようにし、従来の知恵は欠陥のないサンプルにのみ依存する。 FMR-Netは最先端の検査精度を示し、エッジコンピューティング対応のスマート産業で大きな可能性を秘めている。
論文参考訳（メタデータ） (2022-06-22T04:05:13Z)
Cognitive Visual Inspection Service for LCD Manufacturing Industry [80.63336968475889]
本論文では,現在FPD業界で主流となっている液晶ディスプレイ(LCD)の視覚検査システムについて述べる。システムは、堅牢/高性能欠陥認識モデルと認知視覚検査サービスアーキテクチャの2つの基礎に基づいています。
論文参考訳（メタデータ） (2021-01-11T08:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。