論文の概要: MatSAM: Efficient Materials Microstructure Extraction via Visual Large
Model
- arxiv url: http://arxiv.org/abs/2401.05638v1
- Date: Thu, 11 Jan 2024 03:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 19:53:52.343179
- Title: MatSAM: Efficient Materials Microstructure Extraction via Visual Large
Model
- Title（参考訳）: MatSAM:視覚的大モデルによる効率的な材料組織抽出
- Authors: Changtai Li, Xu Han, Chao Yao, Xiaojuan Ban
- Abstract要約: 我々は,Segment Anything Model(SAM)に基づく汎用的で効率的なミクロ構造抽出ソリューションであるMatSAMを提案する。
新しいポイントベースのプロンプト生成戦略が設計され、材料ミクロ構造の分布と形状に基づいている。
MatSAMは従来の手法よりもセグメンテーション性能が優れており、教師付き学習法よりも好まれる。
- 参考スコア（独自算出の注目度）: 11.130574172301365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate and efficient extraction of microstructures in microscopic images of
materials plays a critical role in the exploration of structure-property
relationships and the optimization of process parameters. Deep learning-based
image segmentation techniques that rely on manual annotation are time-consuming
and labor-intensive and hardly meet the demand for model transferability and
generalization. Segment Anything Model (SAM), a large visual model with
powerful deep feature representation and zero-shot generalization capabilities,
has provided new solutions for image segmentation. However, directly applying
SAM to segmenting microstructures in microscopic images of materials without
human annotation cannot achieve the expected results, as the difficulty of
adapting its native prompt engineering to the dense and dispersed
characteristics of key microstructures in materials microscopy images. In this
paper, we propose MatSAM, a general and efficient microstructure extraction
solution based on SAM. A new point-based prompts generation strategy is
designed, grounded on the distribution and shape of materials microstructures.
It generates prompts for different microscopic images, fuses the prompts of the
region of interest (ROI) key points and grid key points, and integrates
post-processing methods for quantitative characterization of materials
microstructures. For common microstructures including grain boundary and phase,
MatSAM achieves superior segmentation performance to conventional methods and
is even preferable to supervised learning methods evaluated on 18 materials
microstructures imaged by the optical microscope (OM) and scanning electron
microscope (SEM). We believe that MatSAM can significantly reduce the cost of
quantitative characterization of materials microstructures and accelerate the
design of new materials.
- Abstract（参考訳）: 材料の顕微鏡像における微細構造の精密かつ効率的な抽出は, 構造-適合関係の探索やプロセスパラメータの最適化に重要な役割を果たしている。
手動アノテーションに依存するディープラーニングベースのイメージセグメンテーション技術は、時間と労力を消費し、モデル転送性と一般化の需要をほとんど満たさない。
Segment Anything Model (SAM)は、強力な深い特徴表現とゼロショットの一般化機能を備えた大きなビジュアルモデルであり、画像セグメンテーションのための新しいソリューションを提供している。
しかし, 材料顕微鏡画像中の重要な微細構造の密度・分散特性に, ネイティブプロンプトエンジニアリングを適応させるのが困難であるため, 直接samを微視的画像の分節化に応用することは期待できない。
本稿では,SAMに基づく汎用的で効率的なマイクロ構造抽出法であるMatSAMを提案する。
新しいポイントベースのプロンプト生成戦略が設計され、材料ミクロ構造の分布と形状に基づいている。
異なる顕微鏡画像のプロンプトを生成し、関心領域(ROI)キーポイントとグリッドキーポイントのプロンプトを融合させ、材料ミクロ構造の定量的評価のための後処理手法を統合する。
光学顕微鏡(OM)および走査電子顕微鏡(SEM)により画像化された18の材料ミクロ組織に対して評価された教師あり学習法よりも,MateSAMは従来の方法よりもセグメンテーション性能が優れている。
我々は,MateSAMが材料ミクロ組織を定量的に評価するコストを大幅に削減し,新しい材料の設計を加速できると考えている。
関連論文リスト
- CryoFM: A Flow-based Foundation Model for Cryo-EM Densities [50.291974465864364]
生成モデルとして設計された基礎モデルであるCryoFMについて,高品質密度マップの分布を学習する。
フローマッチングに基づいて構築されたCryoFMは、生物分子密度マップの以前の分布を正確に捉えるために訓練されている。
論文 参考訳（メタデータ） (2024-10-11T08:53:58Z) - Foundational Model for Electron Micrograph Analysis: Instruction-Tuning Small-Scale Language-and-Vision Assistant for Enterprise Adoption [0.0]
半導体電子顕微鏡画像(MAEMI)解析のための小型フレームワークについて紹介する。
我々は、顕微鏡画像解析において、大規模なマルチモーダルモデルを用いて、カスタマイズされた命令追従データセットを生成する。
知識蒸留により,より大規模なモデルからより小さなモデルへの知識伝達を行い,視覚的質問応答タスクにおいて,より小さなモデルの精度を向上させる。
論文 参考訳（メタデータ） (2024-08-23T17:42:11Z) - Automated Grain Boundary (GB) Segmentation and Microstructural Analysis
in 347H Stainless Steel Using Deep Learning and Multimodal Microscopy [2.0445155106382797]
オーステナイト347Hステンレス鋼は、極端な運転条件に要求される優れた機械的特性と耐食性を提供する。
CNNベースのディープラーニングモデルは、材料マイクログラフから機能を自動で検出する強力な技術である。
走査型電子顕微鏡(SEM)による347Hステンレス鋼のトレーニングデータと電子後方散乱(EBSD)マイクログラフを,粒界検出のためのピクセルワイドラベルとして組み合わせた。
論文 参考訳（メタデータ） (2023-05-12T22:49:36Z) - Optimizations of Autoencoders for Analysis and Classification of
Microscopic In Situ Hybridization Images [68.8204255655161]
同様のレベルの遺伝子発現を持つ顕微鏡画像の領域を検出・分類するためのディープラーニングフレームワークを提案する。
分析するデータには教師なし学習モデルが必要です。
論文 参考訳（メタデータ） (2023-04-19T13:45:28Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Parameters, Properties, and Process: Conditional Neural Generation of
Realistic SEM Imagery Towards ML-assisted Advanced Manufacturing [1.5234614694413722]
我々は,条件付き生成対向ネットワーク(GAN)を走査型電子顕微鏡(SEM)画像に適用することにより,先行研究を構築した。
我々は, テンパと実験パラメータ, 材料特性を条件とした現実的な画像を生成する。
この研究は、製造プロセスを理解するための根本的に新しいアプローチの技術的バックボーンを形成する。
論文 参考訳（メタデータ） (2023-01-13T00:48:39Z) - Three-dimensional microstructure generation using generative adversarial
neural networks in the context of continuum micromechanics [77.34726150561087]
本研究は, 三次元マイクロ構造生成に適した生成対向ネットワークを提案する。
軽量アルゴリズムは、明示的な記述子を必要とせずに、単一のmicroCTスキャンから材料の基礎特性を学習することができる。
論文 参考訳（メタデータ） (2022-05-31T13:26:51Z) - MOGAN: Morphologic-structure-aware Generative Learning from a Single
Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。
多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。
合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文 参考訳（メタデータ） (2021-03-04T12:45:23Z) - Multiclass Yeast Segmentation in Microstructured Environments with Deep
Learning [20.456742449675904]
我々は、個々の酵母細胞の多クラスセグメンテーションのために訓練された畳み込みニューラルネットワークを提案する。
本手法は, 微構造環境下での酵母のセグメンテーションへの寄与を, 典型的な合成生物学的応用で示す。
論文 参考訳（メタデータ） (2020-11-16T16:16:13Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳（メタデータ） (2020-10-20T08:36:51Z) - Image-driven discriminative and generative machine learning algorithms
for establishing microstructure-processing relationships [0.49259062564301753]
我々は、画像認識、キャラクタリゼーション、予測機能構築のための改良された機械学習アプローチを開発する。
核燃料として現在開発中の二元合金(ウラニウムモリブデン)について検討した。
F1スコア95.1%は10の異なる熱力学的材料処理条件に対応するマイクログラフを区別するために達成された。
論文 参考訳（メタデータ） (2020-07-27T10:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。