論文の概要: FoundYou: A Unified Model for Personalized Segmentation and Retrieval
- arxiv url: http://arxiv.org/abs/2608.29917v1
- Date: Sun, 30 Aug 2026 17:19:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.115974
- Title: FoundYou: A Unified Model for Personalized Segmentation and Retrieval
- Title（参考訳）: FoundYou: パーソナライズされたセグメンテーションと検索のための統一モデル
- Abstract要約: ビデオフレーム間でオブジェクトの同一性を維持するために訓練されたSegment Anything 2 (SAM2) は、本質的にインスタンスレベルのキューをキャプチャする。
この特性を利用してオブジェクトを独立した画像にマッチさせ、セグメント化と検索を同一のインスタンスアライメントプロセスの2つの結果として実現します。
この統合ビューは、パーソナライズされた検索や、フレキシブルなプロンプトによるパーソナライズ可能なセグメンテーションなど、従来のベンチマーク以上の新機能をアンロックする。
- 参考スコア（独自算出の注目度）: 20.369208787750257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized segmentation and personalized retrieval both aim to identify the same physical object across different images. While the former localizes the object within a target image, the latter retrieves images where it appears. Despite this shared instance-level objective, the two tasks have largely evolved separately and are addressed with distinct solutions. In this work, we introduce FoundYou, a unified framework built on the observation that Segment Anything 2 (SAM 2), trained to preserve object identity across video frames, inherently captures instance-level cues. We leverage this property to match objects across independent images, enabling segmentation and retrieval to emerge as two outcomes of the same instance alignment process. This unified view unlocks new capabilities beyond traditional benchmarks, including few-shot personalized retrieval and promptable personalized segmentation with flexible prompts. Extensive experiments show consistent gains over unified and task-specific methods, including +18.4 mIoU on PerMIS and +17.8 mAP on ILIAS. Performance scales with additional references and remains robust to weaker prompts. Beyond personalization, FoundYou achieves state-of-the-art results on category-level retrieval benchmarks. Notably, our approach keeps the SAM 2-small model entirely frozen and adds only 5.9 M trainable parameters, yielding a 52 M-parameter model that is over 75x faster and 20x smaller than the only prior unified solution. Code is available at https://github.com/ga1i13o/FoundYou .
- Abstract（参考訳）: パーソナライズされたセグメンテーションとパーソナライズされた検索はどちらも、異なる画像間で同じ物理的オブジェクトを特定することを目的としている。
前者は対象画像内でオブジェクトをローカライズするが、後者は、その画像が現れる場所を検索する。
この共有インスタンスレベルの目的にもかかわらず、2つのタスクは独立して進化し、異なるソリューションで対処されている。
本研究では,Segment Anything 2 (SAM2) がビデオフレーム間でオブジェクトの同一性を維持するために訓練され,本質的にインスタンスレベルの手がかりをキャプチャする,統一的なフレームワークであるFoundYouを紹介する。
この特性を利用してオブジェクトを独立した画像にマッチさせ、セグメント化と検索を同一のインスタンスアライメントプロセスの2つの結果として実現します。
この統合ビューは、パーソナライズされた検索や、フレキシブルなプロンプトによるパーソナライズ可能なセグメンテーションなど、従来のベンチマーク以上の新機能をアンロックする。
大規模な実験では、PerMISの+18.4 mIoUやILIASの+17.8 mAPなど、統一的およびタスク固有の手法よりも一貫した利得を示している。
パフォーマンスは、追加の参照でスケールし、より弱いプロンプトに対して堅牢である。
パーソナライゼーション以外にも、FoundYouはカテゴリレベルの検索ベンチマークで最先端の結果を達成する。
特に,本手法ではSAM 2小モデルを完全に凍結し,トレーニング可能なパラメータを5.9M加えるだけで,52Mパラメータモデルが75倍以上高速で,従来の統一解よりも20倍小さい。
コードはhttps://github.com/ga1i13o/FoundYouで入手できる。
関連論文リスト
- INSID3: Training-Free In-Context Segmentation with DINOv3 [63.961377087673476]
INSID3は、凍結したDINOv3機能のみから、さまざまな粒度で概念を分割する、トレーニング不要のアプローチである。
1ショットのセマンティクス、部分、パーソナライズされたセグメンテーションで最先端の結果を達成し、以前の処理を +7.5 % mIoU で上回る。
論文 参考訳（メタデータ） (2026-03-30T14:16:37Z) - Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。
本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。
我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
論文 参考訳（メタデータ） (2025-12-01T15:15:16Z) - No time to train! Training-Free Reference-Based Instance Segmentation [15.061599989448867]
本研究は,少数の参照画像のみを備える場合のオブジェクトセグメンテーションの課題について検討する。
我々の重要な洞察は、ファンデーションモデルによって学習された強力なセマンティック・プライドを活用して、参照とターゲット画像の間の対応する領域を特定することである。
対応によって、下流タスクのためのインスタンスレベルのセグメンテーションマスクの自動生成が可能になり、マルチステージのトレーニング不要な方法でアイデアをインスタンス化する。
論文 参考訳（メタデータ） (2025-07-03T16:59:01Z) - ViRefSAM: Visual Reference-Guided Segment Anything Model for Remote Sensing Segmentation [21.953205396218767]
ViRefSAMはSAMをガイドする新しいフレームワークで、いくつかの注釈付き参照イメージしか利用していない。
RS画像にまたがるクラス一貫性オブジェクトの自動セグメンテーションを可能にする。
さまざまなデータセット間で、既存の数ショットセグメンテーションメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2025-07-03T04:06:04Z) - SANSA: Unleashing the Hidden Semantics in SAM2 for Few-Shot Segmentation [4.4700130387278225]
ほとんどショットのセグメンテーションは、未確認のオブジェクトカテゴリを、注釈付き例のほんの一握りの例から分割することを目的としている。
本稿では,SANSA (Semantically AligNed Segment Anything 2) を提案する。
論文 参考訳（メタデータ） (2025-05-27T21:51:28Z) - DC-SAM: In-Context Segment Anything in Images and Videos via Dual Consistency [91.30252180093333]
In-context segmentation に SAM と SAM2 を適応させるプロンプトチューニングに基づく Dual Consistency SAM (DCSAM) 法を提案する。
我々の重要な洞察は、高品質な視覚的プロンプトを提供することにより、SAMのセグメンテーションにおけるプロンプトエンコーダの機能を強化することである。
提案したDC-SAMは主に画像用に設計されているが、SAM2のサポートによりビデオ領域にシームレスに拡張できる。
論文 参考訳（メタデータ） (2025-04-16T13:41:59Z) - Segmenting Object Affordances: Reproducibility and Sensitivity to Scale [27.277739855754447]
セマンティックセグメンテーションのための学習に基づくアーキテクチャを、アベイランスセグメンテーションタスクに再利用し、適応する手法。
2つの単一オブジェクトのシナリオで再現可能な設定でこれらのメソッドをベンチマークする。
我々の分析は、オブジェクトの解像度がトレーニングセットと異なる場合、モデルは変動をスケールするのに堅牢ではないことを示している。
論文 参考訳（メタデータ） (2024-09-03T11:54:36Z) - FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。
2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。
まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。
次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
論文 参考訳（メタデータ） (2024-05-29T02:34:13Z) - Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping [40.07070188661184]
Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。
内在的な類似性のため、背景から隠された物体を区別することは困難である。
これら2つの課題に対処する新しいWSCOS手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T14:31:34Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳（メタデータ） (2023-05-04T17:59:36Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳（メタデータ） (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。