論文の概要: Where is My Mug? Training-Free Framework for Personalized Image Segmentation
- arxiv url: http://arxiv.org/abs/2611.15216v1
- Date: Wed, 11 Nov 2026 09:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.087563
- Title: Where is My Mug? Training-Free Framework for Personalized Image Segmentation
- Title(参考訳): 私の母親はどこにいるのか?パーソナライズされた画像セグメンテーションのためのトレーニングフリーフレームワーク
- Abstract要約: PISは複数の視覚的に類似したインスタンスを区別しなければならない。
textbftop-$K$ Sinkhornは、最も確実な一致したパッチで、各候補をスコアするパッチレベル距離である。
textbfdatasetname - 現実的なマルチインスタンスベンチマーク。
- 参考スコア(独自算出の注目度): 14.933835385047532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: \textbf{Personalized Image Segmentation (PIS)} aims to segment the specific object in a target image that matches a user-provided reference. Unlike category-based segmentation or few-shot segmentation, PIS must discriminate between multiple visually similar instances, a requirement central to deployed applications such as augmented reality, personalized content editing, robotics manipulation, inventory tracking, and fine-grained visual retrieval. We show that the strong numbers reported by existing PIS methods are largely an artifact of single-instance benchmarks: when evaluated on realistic scenes with several same-category look-alikes, prior point-prompt methods collapse, because the correct instance is frequently never surfaced as a prompt. We trace this to a recall bottleneck rather than a mask-quality one, and address it with a training-free, modular system. The pipeline first generates high-recall object proposals using an off-the-shelf class-agnostic detector, then matches each proposal to the reference using foundation-model features (e.g., BLIP-2), and finally refines the selected box with SAM. For robust matching we propose \textbf{top-$K$ Sinkhorn}, a patch-level distance that scores each candidate only on its most confidently matched patches; trimming the Sinkhorn dual potentials recovers the robustness of partial optimal transport at more than $100\times$ lower cost, keeping it inside the per-proposal candidate loop. To evaluate this regime, we introduce \textbf{\datasetname}, a realistic multi-instance benchmark. Across \datasetname, PerSeg, PerMIS, and DAVIS, our system surpasses PerSAM, $\mathrm{P}^2\mathrm{SAM}$, and PDM by up to $\sim\!48$ mIoU while matching their runtime and using fewer parameters, establishing a strong, deployable training-free baseline for real-world personalized segmentation.
- Abstract(参考訳): \textbf{Personalized Image Segmentation (PIS) は、特定のオブジェクトをユーザが提供する参照にマッチしたターゲットイメージに分割することを目的としている。
カテゴリベースのセグメンテーションや少数ショットセグメンテーションとは異なり、PISは、拡張現実、パーソナライズされたコンテンツ編集、ロボット操作、在庫追跡、きめ細かいビジュアル検索といった、デプロイされたアプリケーションの中心となる要件である複数の視覚的類似のインスタンスを区別する必要がある。
既存のPSS手法で報告された強い数値は,複数の類似のルック-アライスを持つ現実的なシーンで評価される場合,適切なインスタンスがプロンプトとして表されることはないため,以前のポイント・プロンプト法は崩壊する。
これをマスク品質ではなくリコールボトルネックにトレースし、トレーニング不要でモジュラーなシステムで対処します。
パイプラインはまず、オフザシェルフのクラス非依存検出器を使用してハイリコールオブジェクトの提案を生成し、その後、ファンデーションモデル機能(例えばBLIP-2)を使用して各提案と参照をマッチングし、最後に選択したボックスをSAMで洗練する。
頑健なマッチングのために、最も確実な一致したパッチに対して、各候補をスコアリングするパッチレベル距離である \textbf{top-$K$ Sinkhorn} を提案する。
この状況を評価するために,現実的なマルチインスタンス・ベンチマークである \textbf{\datasetname} を導入する。
PerSAM, $\mathrm{P}^2\mathrm{SAM}$, PDMを$\sim\!
48$ mIoU のランタイムにマッチし、パラメータが少ないため、実世界のパーソナライズされたセグメンテーションのための強力な、デプロイ不要なトレーニングベースラインを確立する。
関連論文リスト
- Déjà Vu: Cycle-Consistent Re-ranking for Semantic Correspondence [63.27415474642975]
emphDéj Vuは意味対応のためのテスト時間復号モジュールである。
トップランク候補のうち、正しい対応が上位1ドル以上のマッチングよりもはるかに頻繁に現れることを示す。
論文 参考訳(メタデータ) (2026-10-30T19:54:56Z) - FoundYou: A Unified Model for Personalized Segmentation and Retrieval [20.369208787750257]
ビデオフレーム間でオブジェクトの同一性を維持するために訓練されたSegment Anything 2 (SAM2) は、本質的にインスタンスレベルのキューをキャプチャする。
この特性を利用してオブジェクトを独立した画像にマッチさせ、セグメント化と検索を同一のインスタンスアライメントプロセスの2つの結果として実現します。
この統合ビューは、パーソナライズされた検索や、フレキシブルなプロンプトによるパーソナライズ可能なセグメンテーションなど、従来のベンチマーク以上の新機能をアンロックする。
論文 参考訳(メタデータ) (2026-08-30T17:19:24Z) - ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation [63.38679125666075]
オブジェクトセグメンテーション(RVOS)を参照するには、ビデオを通して自然言語で指定されたターゲットをセグメンテーションする必要がある。
近年のエージェントアプローチでは,タスク固有のトレーニングなしでRVOSを実行するために,マルチモーダルな大規模言語モデルと迅速なセグメンテーションモデルを組み合わせている。
トレーニング不要でフィードバック駆動型エージェントであるReflexTrackを導入し、空間的および時間的両方のレベルでループを閉じる。
論文 参考訳(メタデータ) (2026-07-27T07:39:20Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳(メタデータ) (2026-02-27T07:36:32Z) - Stepwise Decomposition and Dual-stream Focus: A Novel Approach for Training-free Camouflaged Object Segmentation [9.862714096455175]
我々は、textbfMultimodal textbfStepwise textbfDecomposition Chain of Thought (MSD-CoT) を介して textbfRegion-constrained textbfDual-stream textbfVisual textbfPrompting (RDVP) を相乗化する新しいトレーニングフリーなテスト時間適応フレームワークを提案する。
RDVPは、前景と背景点の視覚的プロンプトを視覚的および独立的にサンプリングする空間的制約を注入し、意味的相違を効果的に緩和する
論文 参考訳(メタデータ) (2025-06-07T14:50:26Z) - Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。
最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。
本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-10-09T15:02:28Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳(メタデータ) (2023-12-28T18:59:04Z) - Visual and Textual Prior Guided Mask Assemble for Few-Shot Segmentation
and Beyond [0.0]
視覚的およびテキスト的事前案内マスク集合ネットワーク(PGMA-Net)を提案する。
偏見を緩和するためにクラス非依存のマスクアセンブリープロセスを採用し、様々なタスクをアフィニティを通じて事前を組み立てることで統一的な方法で定式化する。
mIoUは$textPASCAL-5i$で7.6ドル、$textCOCO-20i$で59.4ドルである。
論文 参考訳(メタデータ) (2023-08-15T02:46:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。