論文の概要: HRSAM: Efficiently Segment Anything in High-Resolution Images

• arxiv url: http://arxiv.org/abs/2407.02109v1
• Date: Tue, 2 Jul 2024 09:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:55:01.134211
• Title: HRSAM: Efficiently Segment Anything in High-Resolution Images
• Title（参考訳）: HRSAM:高解像度画像の効率的なセグメンテーション
• Authors: You Huang, Wenbin Lai, Jiayi Ji, Liujuan Cao, Shengchuan Zhang, Rongrong Ji,
• Abstract要約: 本稿では,Flash Attentionを統合し,Plain,Shifted,新たに提案されたCycle-Scan Windowを取り入れたHRSAMを提案する。 サイクルスキャンウィンドウアテンションは、計算オーバーヘッドを最小限に抑えるため、最近開発されたステートスペースモデル(SSM)を採用している。 高精度セグメンテーションデータセットHQSeg44KとDAVISの実験は、SAM蒸留HRSAMモデルが教師モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 59.537068118473066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Segment Anything Model (SAM) has significantly advanced interactive segmentation but struggles with high-resolution images crucial for high-precision segmentation. This is primarily due to the quadratic space complexity of SAM-implemented attention and the length extrapolation issue in common global attention. This study proposes HRSAM that integrates Flash Attention and incorporates Plain, Shifted and newly proposed Cycle-scan Window (PSCWin) attention to address these issues. The shifted window attention is redesigned with padding to maintain consistent window sizes, enabling effective length extrapolation. The cycle-scan window attention adopts the recently developed State Space Models (SSMs) to ensure global information exchange with minimal computational overhead. Such window-based attention allows HRSAM to perform effective attention computations on scaled input images while maintaining low latency. Moreover, we further propose HRSAM++ that additionally employs a multi-scale strategy to enhance HRSAM's performance. The experiments on the high-precision segmentation datasets HQSeg44K and DAVIS show that high-resolution inputs enable the SAM-distilled HRSAM models to outperform the teacher model while maintaining lower latency. Compared to the SOTAs, HRSAM achieves a 1.56 improvement in interactive segmentation's NoC95 metric with only 31% of the latency. HRSAM++ further enhances the performance, achieving a 1.63 improvement in NoC95 with just 38% of the latency.
• Abstract（参考訳）: Segment Anything Model (SAM) はインタラクティブセグメンテーションが大幅に進歩しているが、高精度セグメンテーションに欠かせない高解像度画像に苦慮している。 これは、SAMで実装された注意の2次空間の複雑さと、一般的なグローバルな注意における長さ外挿の問題が原因である。 本稿では,Flash Attentionを統合し,Plain,Shifted,新たに提案されたCycle-Scan Window (PSCWin) を取り入れたHRSAMを提案する。 シフトしたウィンドウの注意は、一貫したウィンドウサイズを維持するためにパディングで再設計され、有効長さの補間を可能にする。 サイクルスキャンウィンドウアテンションは、計算オーバーヘッドを最小限に抑えるため、最近開発されたステートスペースモデル(SSM)を採用している。 このようなウィンドウベースのアテンションにより、HRSAMは低レイテンシを維持しながら、スケールした入力画像に対して効果的なアテンション計算を行うことができる。 さらに,HRSAMの性能向上のためのマルチスケール戦略も導入したHRSAM++を提案する。 高精度セグメンテーションデータセットHQSeg44KとDAVISの実験は、SAM蒸留HRSAMモデルが低レイテンシを維持しながら教師モデルより優れていることを示す。 SOTAと比較すると、HRSAMはインタラクティブセグメンテーションのNoC95メトリックをわずか31%で1.56改善している。 HRSAM++はパフォーマンスをさらに向上し、NoC95で1.63の改善を実現した。

関連論文リスト

• Efficient Knowledge Distillation of SAM for Medical Image Segmentation [0.04672991859386895]
  Segment Anything Model (SAM)はインタラクティブなイメージセグメンテーションの新しい標準を設定し、さまざまなタスクで堅牢なパフォーマンスを提供する。 我々は, エンコーダとデコーダの最適化を, Mean Squared Error (MSE) と Perceptual Loss の組み合わせで組み合わせた新しい知識蒸留手法 KD SAM を提案する。 KD SAMはセグメンテーションの精度と計算効率を効果的にバランスさせ、資源制約のある環境でリアルタイムの医用画像セグメンテーションに適している。
  論文  参考訳（メタデータ） (2025-01-28T06:33:30Z)
• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation [5.011091042850546]
  医用画像解析に基礎モデルを適用するには、かなりの量のデータでそれらを微調整する必要がある。 このような微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。 フェデレーテッド・ラーニング(FL)は、プライベートな分散データをトレーニングするための効果的な手段を提供するが、大規模な基盤モデルをフェデレーテッドする際の通信コストは、すぐに重大なボトルネックとなる可能性がある。
  論文  参考訳（メタデータ） (2024-07-31T16:48:06Z)
• Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization [17.670203551488218]
  シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。 プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
  論文  参考訳（メタデータ） (2024-06-12T08:47:44Z)
• TinySAM: Pushing the Envelope for Efficient Segment Anything Model [73.06322749886483]
  我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。 これらすべての提案手法により、TinySAMは計算量を大幅に削減し、エンベロープを効率的なセグメント化タスクにプッシュする。
  論文  参考訳（メタデータ） (2023-12-21T12:26:11Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
  チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。 私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-01-19T03:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。