論文の概要: ASAM: Boosting Segment Anything Model with Adversarial Tuning
- arxiv url: http://arxiv.org/abs/2405.00256v1
- Date: Wed, 1 May 2024 00:13:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 16:47:02.563451
- Title: ASAM: Boosting Segment Anything Model with Adversarial Tuning
- Title（参考訳）: ASAM: 逆調整によるセグメントの任意のモデルの強化
- Authors: Bo Li, Haoke Xiao, Lv Tang,
- Abstract要約: 本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
- 参考スコア（独自算出の注目度）: 9.566046692165884
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the evolving landscape of computer vision, foundation models have emerged as pivotal tools, exhibiting exceptional adaptability to a myriad of tasks. Among these, the Segment Anything Model (SAM) by Meta AI has distinguished itself in image segmentation. However, SAM, like its counterparts, encounters limitations in specific niche applications, prompting a quest for enhancement strategies that do not compromise its inherent capabilities. This paper introduces ASAM, a novel methodology that amplifies SAM's performance through adversarial tuning. We harness the potential of natural adversarial examples, inspired by their successful implementation in natural language processing. By utilizing a stable diffusion model, we augment a subset (1%) of the SA-1B dataset, generating adversarial instances that are more representative of natural variations rather than conventional imperceptible perturbations. Our approach maintains the photorealism of adversarial examples and ensures alignment with original mask annotations, thereby preserving the integrity of the segmentation task. The fine-tuned ASAM demonstrates significant improvements across a diverse range of segmentation tasks without necessitating additional data or architectural modifications. The results of our extensive evaluations confirm that ASAM establishes new benchmarks in segmentation tasks, thereby contributing to the advancement of foundational models in computer vision. Our project page is in https://asam2024.github.io/.
- Abstract（参考訳）: コンピュータビジョンの進化する状況において、基礎モデルは重要なツールとして現れ、無数のタスクに例外的な適応性を示す。
これらのうち、Meta AIによるSegment Anything Model(SAM)は、イメージセグメンテーションにおいて際立った存在である。
しかし、SAMは特定のニッチアプリケーションで制限に直面しており、固有の能力を損なわない拡張戦略を模索している。
本稿では,ASAMを紹介する。ASAMは,ASAMの性能を逆調整によって増幅する新しい手法である。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
安定拡散モデルを用いることで、SA-1Bデータセットのサブセット(1%)を増大させ、従来の知覚不可能な摂動よりも自然変動を表わす逆のインスタンスを生成する。
提案手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保し, セグメンテーションタスクの整合性を維持する。
微調整されたASAMは、追加のデータやアーキテクチャの変更を必要とせずに、多様なセグメンテーションタスクで大幅に改善されている。
広範囲な評価の結果、ASAMはセグメンテーションタスクにおいて新しいベンチマークを確立しており、コンピュータビジョンにおける基礎モデルの発展に寄与していることが明らかとなった。
私たちのプロジェクトページはhttps://asam2024.github.io/です。
関連論文リスト
- RobustSAM: Segment Anything Robustly on Degraded Images [19.767828436963317]
Segment Anything Model (SAM) は画像セグメンテーションにおける変換的アプローチとして登場した。
低画質画像におけるSAMの性能を向上させるRobust Segment Anything Model (RobustSAM)を提案する。
提案手法は, SAMに基づくダウンストリームタスクにおいて, 単一画像のデハージングやデブロアリングなどの性能を効果的に向上することを目的としている。
論文 参考訳（メタデータ） (2024-06-13T23:33:59Z) - AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳（メタデータ） (2024-06-01T16:21:39Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-14T17:55:03Z) - BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning
of SAM [37.1263294647351]
BLO-SAMを導入し、二段階最適化(BLO)に基づいてSAM(Segment Anything Model)を微調整する。
BLO-SAMは、モデルの重みパラメータのトレーニングと、トレーニングデータセットの2つの別々のサブセットへの迅速な埋め込みによって、過適合のリスクを低減する。
その結果、BLO-SAMは様々な最先端画像セマンティックセグメンテーション法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-02-26T06:36:32Z) - BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [65.92173280096588]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。
SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。
我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文 参考訳（メタデータ） (2024-01-04T15:34:44Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:19:00Z) - Improving the Generalization of Segmentation Foundation Model under Distribution Shift via Weakly Supervised Adaptation [43.759808066264334]
本稿では,アンカー正規化と低ランク微調整を併用した弱教師付き自己学習アーキテクチャを提案する。
本研究では, 自然浄化・破損画像, 医用画像, カモフラージュ画像, ロボット画像など, 5種類の下流セグメンテーションタスクの有効性を検証した。
論文 参考訳（メタデータ） (2023-12-06T13:59:22Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - Zero-Shot Segmentation of Eye Features Using the Segment Anything Model (SAM) [8.529233820032678]
Segment Anything Model (SAM)は、画像セグメンテーションのための最初の基礎モデルである。
本研究では,VR機器で記録された視線画像から特徴を分割するSAMの能力を評価する。
我々の調査はSAMのゼロショット学習能力と、バウンディングボックスやポイントクリックのようなプロンプトの有効性に焦点を当てている。
論文 参考訳（メタデータ） (2023-11-14T11:05:08Z) - Black-box Targeted Adversarial Attack on Segment Anything (SAM) [24.927514923402775]
本研究は,Segment Anything Model (SAM) におけるターゲット対敵攻撃 (TAA) の実現を目的とする。
具体的には、特定のプロンプトの下では、敵の例の予測マスクを所定のターゲット画像のマスクに類似させることが目的である。
本稿では, ランダムな自然画像に対する逆画像の特徴優位性を高めることで, クロスモデル転送可能性を高める新たな正規化損失を提案する。
論文 参考訳（メタデータ） (2023-10-16T02:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。