論文の概要: Predicting Performance of Object Detection Models in Electron Microscopy Using Random Forests

• arxiv url: http://arxiv.org/abs/2501.08465v1
• Date: Tue, 14 Jan 2025 22:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:52.079754
• Title: Predicting Performance of Object Detection Models in Electron Microscopy Using Random Forests
• Title（参考訳）: ランダムフォレストを用いた電子顕微鏡における物体検出モデルの予測性能
• Authors: Ni Li, Ryan Jacobs, Matthew Lynch, Vidit Agrawal, Kevin Field, Dane Morgan,
• Abstract要約: 本研究では,透過電子顕微鏡(TEM)画像の欠陥を定量化するための深層学習に基づく物体検出モデルの性能評価手法を提案する。 本研究では,対象対象を正確に特定・分類する能力を評価するための指標として,対象検出F1スコアを予測するランダム森林回帰モデルを開発した。
• 参考スコア（独自算出の注目度）: 0.7453974564751137
• License:
• Abstract: Quantifying prediction uncertainty when applying object detection models to new, unlabeled datasets is critical in applied machine learning. This study introduces an approach to estimate the performance of deep learning-based object detection models for quantifying defects in transmission electron microscopy (TEM) images, focusing on detecting irradiation-induced cavities in TEM images of metal alloys. We developed a random forest regression model that predicts the object detection F1 score, a statistical metric used to evaluate the ability to accurately locate and classify objects of interest. The random forest model uses features extracted from the predictions of the object detection model whose uncertainty is being quantified, enabling fast prediction on new, unlabeled images. The mean absolute error (MAE) for predicting F1 of the trained model on test data is 0.09, and the $R^2$ score is 0.77, indicating there is a significant correlation between the random forest regression model predicted and true defect detection F1 scores. The approach is shown to be robust across three distinct TEM image datasets with varying imaging and material domains. Our approach enables users to estimate the reliability of a defect detection and segmentation model predictions and assess the applicability of the model to their specific datasets, providing valuable information about possible domain shifts and whether the model needs to be fine-tuned or trained on additional data to be maximally effective for the desired use case.
• Abstract（参考訳）: 新しいラベルのないデータセットにオブジェクト検出モデルを適用する場合、予測の不確かさの定量化は、機械学習の適用において重要である。 本研究では, 透過電子顕微鏡(TEM)画像における欠陥の定量化を目的とした深層学習に基づく物体検出モデルの性能評価手法を提案し, 金属合金のTEM画像における照射誘起空洞の検出に焦点をあてた。 本研究では,関心対象を正確に特定・分類する能力を評価するために,対象検出F1スコアを予測するランダム森林回帰モデルを開発した。 ランダムフォレストモデルは、不確実性が定量化されている物体検出モデルの予測から抽出された特徴を使い、新しい未ラベル画像の高速な予測を可能にする。 テストデータ上でトレーニングされたモデルのF1を予測する平均絶対誤差(MAE)は0.09であり、$R^2$スコアは0.77であり、予測されたランダム森林回帰モデルと真の欠陥検出F1スコアとの間に有意な相関があることが示されている。 このアプローチは、3つの異なるTEM画像データセットに対して、様々な画像領域と物質領域で堅牢であることが示されている。 提案手法では,欠陥検出モデルとセグメンテーションモデル予測の信頼性を推定し,特定のデータセットに対するモデルの適用性を評価し,ドメインシフトの可能性や,そのモデルが所望のユースケースに対して最大限に有効であるためには,追加データに基づいて微調整や訓練を行う必要があるかどうかについて,貴重な情報を提供する。

関連論文リスト

• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• Accelerating Domain-Aware Electron Microscopy Analysis Using Deep Learning Models with Synthetic Data and Image-Wide Confidence Scoring [0.0]
  我々は物理に基づく合成画像とデータ生成装置を作成し、その結果、同等の精度(0.86)、リコール(0.63)、F1スコア(0.71)、エンジニアリング特性予測(R2=0.82)を実現する機械学習モデルを得た。 本研究は,合成データがMLの人間依存を排除し,画像毎に多くの特徴を検出する必要がある場合に,ドメイン認識の手段を提供することを示す。
  論文  参考訳（メタデータ） (2024-08-02T20:15:15Z)
• PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis [2.5347892611213614]
  分類のためのディープニューラルネットワークは、サンプル入力に対する小さな摂動が誤った予測につながる敵攻撃に対して脆弱である。 本研究では, モデル予測と特徴属性のこの特性の実用的手法を開発し, 対向サンプルを検出する。 本手法は,敵が防御機構を認識した場合でも,競争性能を示す。
  論文  参考訳（メタデータ） (2024-04-12T21:22:21Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Performance, Successes and Limitations of Deep Learning Semantic Segmentation of Multiple Defects in Transmission Electron Micrographs [9.237363938772479]
  深層学習Mask Regional Convolutional Neural Network (Mask R-CNN)モデルを用いて, 電子顕微鏡によるFeCrAl合金の欠陥のセマンティックセグメンテーションを行う。 本稿では, 欠陥形状の予測分布, 欠陥サイズ, 欠陥同感度などの量に着目し, キーモデルの性能統計の詳細な分析を行う。 全体として、現在のモデルは、顕微鏡画像中の複数の欠陥タイプを自動解析し、定量化するための、高速で効果的なツールであることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T17:57:59Z)
• Monte Carlo DropBlock for Modelling Uncertainty in Object Detection [4.406418914680961]
  本研究では,オブジェクト検出およびセグメント化タスクにおける不確実性をモデル化するための,効率的かつ効果的な手法を提案する。 提案手法は、YOLOのようなディープラーニングモデルの畳み込み層において、トレーニング時間とテスト時間の間にドロップブロックを適用する。
  論文  参考訳（メタデータ） (2021-08-08T11:34:37Z)
• Prediction Surface Uncertainty Quantification in Object Detection Models for Autonomous Driving [5.784950275336468]
  自律走行車における物体検出は、一般的にカメラ画像とライダー入力に基づいており、予測モデルを訓練するためにしばしば使用される。 このような回帰モデルの予測不確実性を測定するために,PURE (Prediction sURface uncErtainty) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-07-11T08:31:15Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。