論文の概要: GaRA-SAM: Robustifying Segment Anything Model with Gated-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2506.02882v2
- Date: Thu, 05 Jun 2025 09:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 14:14:43.17485
- Title: GaRA-SAM: Robustifying Segment Anything Model with Gated-Rank Adaptation
- Title(参考訳): GaRA-SAM: Gated-Rank Adaptation を用いたロバスト化セグメントモデル
- Authors: Sohyun Lee, Yeho Gwon, Lukas Hoyer, Suha Kwak,
- Abstract要約: GaRA-SAMは、全ての堅牢なセグメンテーションベンチマークにおいて、以前の作業よりも大幅に優れていた。
これは以前の最高のIoUスコアを21.3%上回っている。
- 参考スコア(独自算出の注目度): 30.568867979303064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Improving robustness of the Segment Anything Model (SAM) to input degradations is critical for its deployment in high-stakes applications such as autonomous driving and robotics. Our approach to this challenge prioritizes three key aspects: first, parameter efficiency to maintain the inherent generalization capability of SAM; second, fine-grained and input-aware robustification to precisely address the input corruption; and third, adherence to standard training protocols for ease of training. To this end, we propose gated-rank adaptation (GaRA). GaRA introduces lightweight adapters into intermediate layers of the frozen SAM, where each adapter dynamically adjusts the effective rank of its weight matrix based on the input by selectively activating (rank-1) components of the matrix using a learned gating module. This adjustment enables fine-grained and input-aware robustification without compromising the generalization capability of SAM. Our model, GaRA-SAM, significantly outperforms prior work on all robust segmentation benchmarks. In particular, it surpasses the previous best IoU score by up to 21.3\%p on ACDC, a challenging real corrupted image dataset.
- Abstract(参考訳): Segment Anything Model(SAM)の入力劣化に対する堅牢性の向上は、自律運転やロボット工学といった高度なアプリケーションに展開するために重要である。
この課題へのアプローチは,SAMの固有一般化能力を維持するためのパラメータ効率,入力汚職に正確に対処するための細粒度および入力認識の堅牢化,トレーニングを容易にするための標準トレーニングプロトコルの遵守,の3つの重要な側面を優先する。
そこで我々はゲートランク適応(GaRA)を提案する。
GaRAは軽量なアダプタを凍ったSAMの中間層に導入し、各アダプタは学習ゲーティングモジュールを用いて行列の(rank-1)成分を選択的に活性化することにより、入力に基づいてその重み行列の有効ランクを動的に調整する。
この調整により、SAMの一般化能力を損なうことなく、細粒度で入力対応のロバスト化が可能となる。
我々のモデルであるGaRA-SAMは、全ての頑健なセグメンテーションベンチマークの先行作業よりも大幅に優れています。
特に、以前の最高のIoUスコアを21.3\%まで上回っている。
関連論文リスト
- Shifting Perspectives: Steering Vector Ensembles for Robust Bias Mitigation in LLMs [8.91107152198979]
本稿では,大規模言語モデル(LLM)において,前方通過におけるモデルアクティベーションの修正にステアリングベクトルを適用することにより,バイアス軽減手法を提案する。
ベイズ最適化を用いて、9つのバイアス軸にまたがる効果的な対照的なペアデータセットを体系的に同定する。
これらの有望な結果に基づいて、複数の個別に最適化されたステアリングベクトルを平均化する手法であるステアリングベクトルアンサンブル(SVE)を導入し、それぞれが年齢、人種、性別などの特定のバイアス軸をターゲットにしている。
論文 参考訳(メタデータ) (2025-03-07T12:25:29Z) - AM-SAM: Automated Prompting and Mask Calibration for Segment Anything Model [28.343378406337077]
AM-SAMと呼ばれる自動プロンプトとマスクの校正手法を提案する。
提案手法は入力画像のプロンプトを自動生成し,早期訓練における人的関与の必要性を解消する。
実験の結果,AM-SAMは,人為的および既定のプロンプトの有効性,マッチング,あるいは超越した精度のセグメンテーションを達成できた。
論文 参考訳(メタデータ) (2024-10-13T03:47:20Z) - Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳(メタデータ) (2024-09-23T19:05:50Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - Can SAM Boost Video Super-Resolution? [78.29033914169025]
単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。
この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。
我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
論文 参考訳(メタデータ) (2023-05-11T02:02:53Z) - Improving Sharpness-Aware Minimization with Fisher Mask for Better
Generalization on Language Models [93.85178920914721]
限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。
本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。
FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
論文 参考訳(メタデータ) (2022-10-11T14:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。