論文の概要: Zero-shot Shape Classification of Nanoparticles in SEM Images using Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2508.03235v1
• Date: Tue, 05 Aug 2025 09:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.876345
• Title: Zero-shot Shape Classification of Nanoparticles in SEM Images using Vision Foundation Models
• Title（参考訳）: ビジョン基礎モデルを用いたSEM画像中のナノ粒子のゼロショット形状分類
• Authors: Freida Barnatan, Emunah Goldstein, Einav Kalimian, Orchen Madar, Avi Huri, David Zitoun, Ya'akov Mandelbaum, Moshe Amitay,
• Abstract要約: 形状分類のための従来のディープラーニング手法は、広範囲なラベル付きデータセットと計算的な訓練を必要とする。 本研究では,2つの視覚基盤モデルを利用したゼロショット分類パイプラインを提案する。 我々は3つの形態学的に多様なナノ粒子データセットにまたがる高精度な形状分類を実現する。
• 参考スコア（独自算出の注目度）: 0.9466841964978984
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Accurate and efficient characterization of nanoparticle morphology in Scanning Electron Microscopy (SEM) images is critical for ensuring product quality in nanomaterial synthesis and accelerating development. However, conventional deep learning methods for shape classification require extensive labeled datasets and computationally demanding training, limiting their accessibility to the typical nanoparticle practitioner in research and industrial settings. In this study, we introduce a zero-shot classification pipeline that leverages two vision foundation models: the Segment Anything Model (SAM) for object segmentation and DINOv2 for feature embedding. By combining these models with a lightweight classifier, we achieve high-precision shape classification across three morphologically diverse nanoparticle datasets - without the need for extensive parameter fine-tuning. Our methodology outperforms a fine-tuned YOLOv11 and ChatGPT o4-mini-high baselines, demonstrating robustness to small datasets, subtle morphological variations, and domain shifts from natural to scientific imaging. Quantitative clustering metrics on PCA plots of the DINOv2 features are discussed as a means of assessing the progress of the chemical synthesis. This work highlights the potential of foundation models to advance automated microscopy image analysis, offering an alternative to traditional deep learning pipelines in nanoparticle research which is both more efficient and more accessible to the user.
• Abstract（参考訳）: SEM(Scanning Electron Microscopy)画像におけるナノ粒子形態の精密かつ効率的な評価は、ナノマテリアル合成における製品品質の確保と開発促進に不可欠である。 しかし、従来の形状分類のための深層学習法では、広範囲なラベル付きデータセットと計算的な訓練が必要であり、研究や工業環境における典型的なナノ粒子実践者へのアクセシビリティを制限している。 本研究では,オブジェクトセグメンテーションのためのSegment Anything Model(SAM)と特徴埋め込みのためのDINOv2の2つのビジョン基盤モデルを活用するゼロショット分類パイプラインを提案する。 これらのモデルを軽量な分類器と組み合わせることで、3つの形態学的に多様なナノ粒子データセットにまたがる高精度な形状分類を実現する。 我々の手法は、微調整されたYOLOv11とChatGPT o4-mini-highベースラインを上回り、小さなデータセットに対する堅牢性、微妙な形態変化、自然から科学的イメージへのドメインシフトを示す。 化学合成の進展を評価する手段として, DINOv2特徴量PCAプロットの定量クラスタリング指標について検討した。 この研究は、ナノ粒子研究における従来のディープラーニングパイプラインの代替として、自動化された顕微鏡画像解析を進化させる基盤モデルの可能性を強調している。

関連論文リスト

• F-ANcGAN: An Attention-Enhanced Cycle Consistent Generative Adversarial Architecture for Synthetic Image Generation of Nanoparticles [3.124884279860061]
  F-ANcGANは,限られたデータサンプルを用いて学習可能な,注目度の高いサイクル一貫した生成対向系である。 本モデルでは,構造的関係を捉えるために,自己アテンションを備えたスタイルU-NetジェネレータとU-Netセグメンテーションネットワークを用いる。
  論文  参考訳（メタデータ） (2025-05-23T17:02:22Z)
• DiffRenderGAN: Addressing Training Data Scarcity in Deep Segmentation Networks for Quantitative Nanomaterial Analysis through Differentiable Rendering and Generative Modelling [0.1135917885955104]
  ディープラーニングセグメンテーションネットワークは、自動的な洞察を可能にし、主観的手法を正確な定量的分析に置き換える。 注釈付き合成データを生成するために設計された新しい生成モデルであるDiffRenderGANを紹介する。 このアプローチは手動介入の必要性を低減し、既存の合成データ手法と比較してセグメンテーション性能を向上させる。
  論文  参考訳（メタデータ） (2025-02-13T16:41:44Z)
• MaskTerial: A Foundation Model for Automated 2D Material Flake Detection [48.73213960205105]
  MaskTerialと呼ばれる深層学習モデルを提案する。このモデルでは、インスタンスセグメンテーションネットワークを用いて、2D素材のフレークを確実に識別する。 このモデルは、ラベルのないデータからリアルな顕微鏡画像を生成する合成データ生成装置を用いて、広範囲に事前訓練されている。 六方晶窒化ホウ素などの低コントラスト材料の検出において,既存の技術よりも顕著な改善が認められた。
  論文  参考訳（メタデータ） (2024-12-12T15:01:39Z)
• Improving Molecular Modeling with Geometric GNNs: an Empirical Study [56.52346265722167]
  本稿では,異なる標準化手法,(2)グラフ作成戦略,(3)補助的なタスクが性能,拡張性,対称性の強制に与える影響に焦点をあてる。 本研究の目的は,分子モデリングタスクに最適なモデリングコンポーネントの選択を研究者に案内することである。
  論文  参考訳（メタデータ） (2024-07-11T09:04:12Z)
• Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
  薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。 グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。 我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2024-07-04T16:56:59Z)
• Automated Classification of Nanoparticles with Various Ultrastructures and Sizes [0.6927055673104933]
  走査型電子顕微鏡画像の小さなデータセットから学習したナノ粒子計測と分類のためのディープラーニングに基づく手法を提案する。 本手法は, 局所化, ナノ粒子の検出, 分類, 微細構造の分類の2段階からなる。 画像処理や様々な画像生成ニューラルネットワークを用いて合成画像を生成することで、両方の段階で結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2022-07-28T11:31:43Z)
• Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
  本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。 我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2022-07-04T07:05:06Z)
• Deep-learning-based prediction of nanoparticle phase transitions during in situ transmission electron microscopy [3.613625739845355]
  我々は、過去のフレームのシーケンスの入力に基づいて、将来のビデオフレームのシーケンスを予測するために、ディープラーニングモデルを訓練する。 この能力は、動的反応条件下でのAuナノ粒子の粒径依存構造変化の洞察を与える。 新たな自動実験プラットフォームのための化学反応の次のステップを予測できるかもしれない。
  論文  参考訳（メタデータ） (2022-05-23T15:50:24Z)
• Synthetic Image Rendering Solves Annotation Problem in Deep Learning Nanoparticle Segmentation [5.927116192179681]
  レンダリングソフトウェアを使用することで、リアルで合成されたトレーニングデータを生成して、最先端の深層ニューラルネットワークをトレーニングできることが示される。 有害な金属酸化物ナノ粒子アンサンブルに対する人為的アノテーションに匹敵するセグメンテーション精度を導出する。
  論文  参考訳（メタデータ） (2020-11-20T17:05:36Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。