論文の概要: MatSAM: Efficient Extraction of Microstructures of Materials via Visual
Large Model
- arxiv url: http://arxiv.org/abs/2401.05638v2
- Date: Sat, 2 Mar 2024 10:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:05:02.401045
- Title: MatSAM: Efficient Extraction of Microstructures of Materials via Visual
Large Model
- Title（参考訳）: matsam: visual large model による材料の微細構造の効率的な抽出
- Authors: Changtai Li, Xu Han, Chao Yao, Xiaojuan Ban
- Abstract要約: Segment Anything Model (SAM)は、強力な深い特徴表現とゼロショットの一般化機能を備えた大きなビジュアルモデルである。
本稿では,SAMに基づく汎用的で効率的なマイクロ構造抽出法であるMatSAMを提案する。
簡単なが効果的な点ベースのプロンプト生成戦略が設計され、ミクロ構造の分布と形状に基づいている。
- 参考スコア（独自算出の注目度）: 11.130574172301365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient and accurate extraction of microstructures in micrographs of
materials is essential in process optimization and the exploration of
structure-property relationships. Deep learning-based image segmentation
techniques that rely on manual annotation are laborious and time-consuming and
hardly meet the demand for model transferability and generalization on various
source images. Segment Anything Model (SAM), a large visual model with powerful
deep feature representation and zero-shot generalization capabilities, has
provided new solutions for image segmentation. In this paper, we propose
MatSAM, a general and efficient microstructure extraction solution based on
SAM. A simple yet effective point-based prompt generation strategy is designed,
grounded on the distribution and shape of microstructures. Specifically, in an
unsupervised and training-free way, it adaptively generates prompt points for
different microscopy images, fuses the centroid points of the coarsely
extracted region of interest (ROI) and native grid points, and integrates
corresponding post-processing operations for quantitative characterization of
microstructures of materials. For common microstructures including grain
boundary and multiple phases, MatSAM achieves superior zero-shot segmentation
performance to conventional rule-based methods and is even preferable to
supervised learning methods evaluated on 16 microscopy datasets whose
micrographs are imaged by the optical microscope (OM) and scanning electron
microscope (SEM). Especially, on 4 public datasets, MatSAM shows unexpected
competitive segmentation performance against their specialist models. We
believe that, without the need for human labeling, MatSAM can significantly
reduce the cost of quantitative characterization and statistical analysis of
extensive microstructures of materials, and thus accelerate the design of new
materials.
- Abstract（参考訳）: 材料のマイクログラフ中の微細構造の効率的かつ正確な抽出は、プロセス最適化と構造・特性関係の探索に不可欠である。
手動アノテーションに依存するディープラーニングベースのイメージセグメンテーション技術は、手間がかかり、時間を要するため、さまざまなソースイメージに対するモデル転送可能性や一般化の要求をほとんど満たさない。
Segment Anything Model (SAM)は、強力な深い特徴表現とゼロショットの一般化機能を備えた大きなビジュアルモデルであり、画像セグメンテーションのための新しいソリューションを提供している。
本稿では,SAMに基づく汎用的で効率的なマイクロ構造抽出法であるMatSAMを提案する。
ミクロ組織分布と形状に基づく,単純かつ効果的なポイントベースプロンプト生成戦略を考案した。
具体的には、教師なし、トレーニング不要な方法で、異なる顕微鏡画像のプロンプトポイントを適応的に生成し、粗い抽出領域(ROI)とネイティブグリッドポイントのセントロイドポイントを融合させ、材料のミクロ構造を定量的に評価するための対応する後処理操作を統合する。
粒界や多相を含む一般的なミクロ組織では、従来の規則に基づく手法よりもゼロショットセグメンテーション性能が優れており、光学顕微鏡(OM)や走査電子顕微鏡(SEM)によってマイクログラフが撮像された16の顕微鏡データセットで評価された教師あり学習法よりも好ましい。
特に4つの公開データセットでは、スペシャリストモデルに対する予期せぬ競合セグメンテーションのパフォーマンスを示している。
人間のラベル付けを必要とせずに、MatSAMは材料の広範囲な微細構造を定量的に解析するコストを大幅に削減し、新しい材料の設計を加速できると考えている。
関連論文リスト
- CryoFM: A Flow-based Foundation Model for Cryo-EM Densities [50.291974465864364]
生成モデルとして設計された基礎モデルであるCryoFMについて,高品質密度マップの分布を学習する。
フローマッチングに基づいて構築されたCryoFMは、生物分子密度マップの以前の分布を正確に捉えるために訓練されている。
論文 参考訳（メタデータ） (2024-10-11T08:53:58Z) - Foundational Model for Electron Micrograph Analysis: Instruction-Tuning Small-Scale Language-and-Vision Assistant for Enterprise Adoption [0.0]
半導体電子顕微鏡画像(MAEMI)解析のための小型フレームワークについて紹介する。
我々は、顕微鏡画像解析において、大規模なマルチモーダルモデルを用いて、カスタマイズされた命令追従データセットを生成する。
知識蒸留により,より大規模なモデルからより小さなモデルへの知識伝達を行い,視覚的質問応答タスクにおいて,より小さなモデルの精度を向上させる。
論文 参考訳（メタデータ） (2024-08-23T17:42:11Z) - Automated Grain Boundary (GB) Segmentation and Microstructural Analysis
in 347H Stainless Steel Using Deep Learning and Multimodal Microscopy [2.0445155106382797]
オーステナイト347Hステンレス鋼は、極端な運転条件に要求される優れた機械的特性と耐食性を提供する。
CNNベースのディープラーニングモデルは、材料マイクログラフから機能を自動で検出する強力な技術である。
走査型電子顕微鏡(SEM)による347Hステンレス鋼のトレーニングデータと電子後方散乱(EBSD)マイクログラフを,粒界検出のためのピクセルワイドラベルとして組み合わせた。
論文 参考訳（メタデータ） (2023-05-12T22:49:36Z) - Optimizations of Autoencoders for Analysis and Classification of
Microscopic In Situ Hybridization Images [68.8204255655161]
同様のレベルの遺伝子発現を持つ顕微鏡画像の領域を検出・分類するためのディープラーニングフレームワークを提案する。
分析するデータには教師なし学習モデルが必要です。
論文 参考訳（メタデータ） (2023-04-19T13:45:28Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Parameters, Properties, and Process: Conditional Neural Generation of
Realistic SEM Imagery Towards ML-assisted Advanced Manufacturing [1.5234614694413722]
我々は,条件付き生成対向ネットワーク(GAN)を走査型電子顕微鏡(SEM)画像に適用することにより,先行研究を構築した。
我々は, テンパと実験パラメータ, 材料特性を条件とした現実的な画像を生成する。
この研究は、製造プロセスを理解するための根本的に新しいアプローチの技術的バックボーンを形成する。
論文 参考訳（メタデータ） (2023-01-13T00:48:39Z) - Three-dimensional microstructure generation using generative adversarial
neural networks in the context of continuum micromechanics [77.34726150561087]
本研究は, 三次元マイクロ構造生成に適した生成対向ネットワークを提案する。
軽量アルゴリズムは、明示的な記述子を必要とせずに、単一のmicroCTスキャンから材料の基礎特性を学習することができる。
論文 参考訳（メタデータ） (2022-05-31T13:26:51Z) - MOGAN: Morphologic-structure-aware Generative Learning from a Single
Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。
多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。
合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文 参考訳（メタデータ） (2021-03-04T12:45:23Z) - Multiclass Yeast Segmentation in Microstructured Environments with Deep
Learning [20.456742449675904]
我々は、個々の酵母細胞の多クラスセグメンテーションのために訓練された畳み込みニューラルネットワークを提案する。
本手法は, 微構造環境下での酵母のセグメンテーションへの寄与を, 典型的な合成生物学的応用で示す。
論文 参考訳（メタデータ） (2020-11-16T16:16:13Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳（メタデータ） (2020-10-20T08:36:51Z) - Image-driven discriminative and generative machine learning algorithms
for establishing microstructure-processing relationships [0.49259062564301753]
我々は、画像認識、キャラクタリゼーション、予測機能構築のための改良された機械学習アプローチを開発する。
核燃料として現在開発中の二元合金(ウラニウムモリブデン)について検討した。
F1スコア95.1%は10の異なる熱力学的材料処理条件に対応するマイクログラフを区別するために達成された。
論文 参考訳（メタデータ） (2020-07-27T10:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。