論文の概要: Crack-EdgeSAM Self-Prompting Crack Segmentation System for Edge Devices
- arxiv url: http://arxiv.org/abs/2412.07205v2
- Date: Fri, 13 Dec 2024 12:38:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 11:43:06.538464
- Title: Crack-EdgeSAM Self-Prompting Crack Segmentation System for Edge Devices
- Title(参考訳): エッジデバイス用クラック・エッジSAMセルフプロンピング・クラック・セグメンテーションシステム
- Authors: Yingchu Wang, Ji He, Shijie Yu,
- Abstract要約: Crack-EdgeSAMは、プロンプトボックスを生成するためにYOLOv8を統合するセルフプロンプトクラックセグメンテーションシステムである。
このシステムは1024×1024ピクセルの画像を、私たちのPC上で46FPS、Jetson Orin Nanoで8FPSで処理します。
- 参考スコア(独自算出の注目度): 5.051837985130048
- License:
- Abstract: Structural health monitoring (SHM) is essential for the early detection of infrastructure defects, such as cracks in concrete bridge pier. but often faces challenges in efficiency and accuracy in complex environments. Although the Segment Anything Model (SAM) achieves excellent segmentation performance, its computational demands limit its suitability for real-time applications on edge devices. To address these challenges, this paper proposes Crack-EdgeSAM, a self-prompting crack segmentation system that integrates YOLOv8 for generating prompt boxes and a fine-tuned EdgeSAM model for crack segmentation. To ensure computational efficiency, the method employs ConvLoRA, a Parameter-Efficient Fine-Tuning (PEFT) technique, along with DiceFocalLoss to fine-tune the EdgeSAM model. Our experimental results on public datasets and the climbing robot automatic inspections demonstrate that the system achieves high segmentation accuracy and significantly enhanced inference speed compared to the most recent methods. Notably, the system processes 1024 x 1024 pixels images at 46 FPS on our PC and 8 FPS on Jetson Orin Nano.
- Abstract(参考訳): 構造物の健全性モニタリング(SHM)は,コンクリート橋脚の亀裂などのインフラ欠陥の早期発見に不可欠である。
複雑な環境では 効率と正確さの課題に直面します
Segment Anything Model (SAM) はセグメンテーション性能が優れているが、その計算要求はエッジデバイス上のリアルタイムアプリケーションに適していることを制限している。
これらの課題に対処するために, YOLOv8 を利用してプロンプトボックスを生成するセルフプロンプトクラックセグメンテーションシステムである Crack-EdgeSAM と, き裂セグメンテーションのための微調整EdgeSAM モデルを提案する。
計算効率を確保するために、パラメータ効率の良い微細チューニング(PEFT)技術であるConvLoRAとDiceFocalLossを用いてEdgeSAMモデルを微調整する。
公開データセットとクライミングロボットによる自動検査実験の結果,最新の手法と比較して高いセグメンテーション精度と推論速度の向上が得られた。
特に、このシステムはPC上で46FPS、Jetson Orin Nanoで8FPSで1024×1024ピクセルの画像を処理しています。
関連論文リスト
- Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。
SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。
本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
論文 参考訳(メタデータ) (2024-11-26T08:33:25Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-29T19:02:54Z) - Distribution-aware Noisy-label Crack Segmentation [4.224255134206838]
本稿では,Segment Anything Model(SAM)の一般的な知識をひび割れセグメンテーションに取り入れたSAM-Adapterを紹介する。
SAM-Adapterの有効性は、小さなトレーニングセット内のノイズラベルによって制約される。
本稿では,SAM-Adapterの識別学習プロセスを導くために,分布認識ドメイン固有の意味知識を活用する,革新的な共同学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-12T07:29:47Z) - EfficientCrackNet: A Lightweight Model for Crack Segmentation [1.3689715712707347]
き裂検出は、建物、舗装、橋の構造的整合性を維持するために不可欠である。
既存の軽量な手法は、計算の非効率性、複雑な亀裂パターン、難易度などの課題に直面していることが多い。
本稿では,CNN(Convolutional Neural Networks)とトランスフォーマーを組み合わせた軽量ハイブリッドモデルであるEfficientCrackNetを提案する。
論文 参考訳(メタデータ) (2024-09-26T17:44:20Z) - Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳(メタデータ) (2024-09-23T19:05:50Z) - Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。
これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。
提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
論文 参考訳(メタデータ) (2024-09-04T16:47:16Z) - Augmenting Efficient Real-time Surgical Instrument Segmentation in Video with Point Tracking and Segment Anything [9.338136334709818]
手術器具のセグメンテーションを微調整した軽量SAMモデルとオンラインポイントトラッカーを組み合わせた新しいフレームワークを提案する。
関心領域内のスパースポイントが追跡され、SAMをビデオシーケンス全体を通してプロンプトし、時間的一貫性を提供する。
提案手法は,XMemとトランスフォーマーをベースとした完全教師付きセグメンテーション手法に匹敵する有望な性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T18:12:42Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳(メタデータ) (2023-12-21T12:26:11Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Keyword Spotting System and Evaluation of Pruning and Quantization
Methods on Low-power Edge Microcontrollers [7.570300579676175]
キーワードスポッティング(KWS)は、エッジの低消費電力デバイスとの音声ベースのユーザインタラクションに有用である。
本稿では,Cortex-M7コア@216MHzと512KBの静的RAMを備えたSTM32F7マイクロコントローラ上で動作するKWSシステムについて述べる。
論文 参考訳(メタデータ) (2022-08-04T16:49:45Z) - RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid
Attention Mechanisms for Pavement Crack Segmentation [7.972704288200679]
RHA-Netは、残余ブロック(ResBlocks)とハイブリッドアテンションブロックをエンコーダ・デコーダアーキテクチャに統合することで構築される。
組込みデバイスJetson TX2(25FPS)上で,舗装クラックをリアルタイムで分割するシステムを開発した。
論文 参考訳(メタデータ) (2022-07-28T15:26:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。