論文の概要: BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation
- arxiv url: http://arxiv.org/abs/2601.15123v1
- Date: Wed, 21 Jan 2026 16:02:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-22 21:27:50.442936
- Title: BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation
- Title(参考訳): BREPS: ランダムセグメンテーションのバウンディングボックスロバストネス評価
- Authors: Andrey Moskalenko, Danil Kuznetsov, Irina Dudko, Anastasiia Iasakova, Nikita Boldyrev, Denis Shepelev, Andrei Spiridonov, Andrey Kuznetsov, Vlad Shakhuro,
- Abstract要約: 本研究では,有界箱プロンプトの自然変動に対するプロンプト可能なセグメンテーションモデルのロバスト性について検討する。
分析の結果、同じモデルとインスタンスに対して、ユーザ間でセグメンテーション品質がかなり変動していることが判明した。
BREPSは,セグメント化誤差を最小化あるいは最大化する逆境界ボックスを生成する手法である。
- 参考スコア(独自算出の注目度): 4.5991688539322215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Promptable segmentation models such as SAM have established a powerful paradigm, enabling strong generalization to unseen objects and domains with minimal user input, including points, bounding boxes, and text prompts. Among these, bounding boxes stand out as particularly effective, often outperforming points while significantly reducing annotation costs. However, current training and evaluation protocols typically rely on synthetic prompts generated through simple heuristics, offering limited insight into real-world robustness. In this paper, we investigate the robustness of promptable segmentation models to natural variations in bounding box prompts. First, we conduct a controlled user study and collect thousands of real bounding box annotations. Our analysis reveals substantial variability in segmentation quality across users for the same model and instance, indicating that SAM-like models are highly sensitive to natural prompt noise. Then, since exhaustive testing of all possible user inputs is computationally prohibitive, we reformulate robustness evaluation as a white-box optimization problem over the bounding box prompt space. We introduce BREPS, a method for generating adversarial bounding boxes that minimize or maximize segmentation error while adhering to naturalness constraints. Finally, we benchmark state-of-the-art models across 10 datasets, spanning everyday scenes to medical imaging. Code - https://github.com/emb-ai/BREPS.
- Abstract(参考訳): SAMのような予測可能なセグメンテーションモデルは強力なパラダイムを確立し、ポイントやバウンディングボックス、テキストプロンプトなど、最小限のユーザ入力でオブジェクトやドメインを表示できないように強力な一般化を可能にしている。
これらのうち、バウンディングボックスは特に効果的であり、しばしばポイントよりも優れ、アノテーションのコストは大幅に削減される。
しかし、現在のトレーニングと評価のプロトコルは通常、単純なヒューリスティックスによって生成される合成プロンプトに依存し、現実世界の堅牢性についての限られた洞察を提供する。
本稿では,有界箱プロンプトの自然変動に対するプロンプト可能なセグメンテーションモデルのロバスト性について検討する。
まず、制御されたユーザスタディを行い、何千もの実際のバウンディングボックスアノテーションを収集します。
解析の結果,同一モデルと同一モデルの場合,ユーザ間でのセグメンテーション品質の変動が顕著であり,SAMライクなモデルが自然騒音に非常に敏感であることが示唆された。
そして,全てのユーザ入力の徹底的なテストは計算的に禁止されているため,バウンディングボックスプロンプト空間上のホワイトボックス最適化問題としてロバストネス評価を再構成する。
BREPSは,自然性制約に固執しつつ,セグメンテーション誤差を最小限に抑え,最大化する逆境界ボックスを生成する手法である。
最後に、10のデータセットにまたがる最先端のモデルをベンチマークし、日々のシーンから医用画像までを撮影する。
コード - https://github.com/emb-ai/BREPS
関連論文リスト
- Prompt learning with bounding box constraints for medical image segmentation [9.429796437031577]
ビジョン基礎モデルは、最近ポイントやバウンディングボックスのようなプロンプトを提供する際に注目すべきセグメンテーション性能を示している。
本稿では,基盤モデルの表現力と弱教師付きセグメンテーションのアノテーション効率を組み合わせた新しいフレームワークを提案する。
提案手法は,Diceスコアの平均84.90%を制限されたデータ設定で達成し,既存の完全教師付きおよび弱教師付きアプローチよりも優れていた。
論文 参考訳(メタデータ) (2025-07-03T16:04:08Z) - ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts [15.582637232358177]
ProSAMは、既存のSAMベースのビジュアル参照セグメンテーションアプローチにおいて、我々が特定した安定性の課題に対処する、シンプルだが効果的な方法である。
ProSAMは不安定な領域にあるプロンプトの生成を回避し、より堅牢でないプロンプトによって引き起こされる不安定さを克服する。
私たちのアプローチは、Pascal-5$i$とCOCO-20$i$データセットの最先端メソッドを一貫して超越しています。
論文 参考訳(メタデータ) (2025-06-27T00:50:15Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-07T18:30:18Z) - Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。
我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。
PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
論文 参考訳(メタデータ) (2024-12-24T06:05:08Z) - Hyperband-based Bayesian Optimization for Black-box Prompt Selection [15.756224286651237]
ブラックボックスのプロンプト選択は、潜在的に大きな検索スペース、勾配情報の欠如、検証セット上のプロンプトの評価コストが高いため、困難である。
本稿では,HbBoPsを提案する。HbBoPsは,マルチファイダリティスケジューラとして,構造を意識したディープカーネルガウスプロセスとハイパーバンドを組み合わせた新しい手法である。
HbBoPsは、パフォーマンスと効率の両方で最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-12-10T14:42:51Z) - ClickTrack: Towards Real-time Interactive Single Object Tracking [58.52366657445601]
リアルタイムシナリオにおけるクリックインタラクションを用いた新しいパラダイムであるClickTrackを提案する。
特定のシナリオにおける曖昧さに対処するために、ポイントとオプションのテキスト情報を入力として受け入れるガイド・クリック・リファイナ(GCR)を設計した。
LaSOTとGOT-10kベンチマークの実験により、GCRと組み合わせたトラッカーがリアルタイムの対話シナリオで安定したパフォーマンスを実現することが示された。
論文 参考訳(メタデータ) (2024-11-20T10:30:33Z) - Neighbor-Aware Calibration of Segmentation Networks with Penalty-Based
Constraints [19.897181782914437]
本稿では,ロジット値の等式制約に基づく基本的かつ単純な解を提案し,強制制約と罰則の重みを明示的に制御する。
我々のアプローチは、広範囲のディープセグメンテーションネットワークのトレーニングに利用できる。
論文 参考訳(メタデータ) (2024-01-25T19:46:57Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。