論文の概要: Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.00357v1
- Date: Wed, 01 Jul 2026 02:56:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.694221
- Title: Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models
- Title（参考訳）: 視覚言語モデルを用いたインコンテキスト推論によるパーソナライズされた物体の同定と位置推定
- Abstract要約: 新しいタスク、パーソナライズされたオブジェクト識別とローカライゼーション(POIL)を定式化する。
POILは、参照オブジェクトインスタンスを含まないクエリイメージを拒否しながら、ターゲットオブジェクトインスタンスをローカライズすることを目的としている。
IPLoc-IDはまず候補境界ボックスを予測し、次に参照オブジェクトインスタンスに対応するかどうかを決定する。
- 参考スコア（独自算出の注目度）: 4.645610212651813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personalized object localization (POL) localizes an object instance in a query image based on a few reference images with bounding-box annotations and a target object label. The pioneering method, IPLoc, solves this task through in-context inference with vision-language models (VLMs). However, it assumes that the query image always contains the target object. This assumption severely limits its applicability to real-world scenarios with many irrelevant images. To address this issue, we formulate a new task, personalized object identification and localization (POIL), by positioning POL within the broader few-shot object detection framework. POIL aims to localize the target object instance while rejecting query images that do not contain the reference object instance. We also present POIL datasets constructed from public sources. We further propose an in-context algorithm named IPLoc-ID for solving POIL with VLMs. IPLoc-ID first predicts a candidate bounding box and then determines whether it corresponds to the reference object instance. We introduce a self-posed query to connect these two steps within a single autoregressive generation framework. Through ablation studies and comprehensive experiments, we show that IPLoc-ID substantially suppresses false-positive detections on negative query images while maintaining localization performance comparable to IPLoc. Overall, IPLoc-ID effectively addresses the practical instance-level POIL task, which cannot be sufficiently solved by conventional object detection, few-shot object detection, or the localization-only IPLoc method.
- Abstract（参考訳）: パーソナライズされたオブジェクトローカライゼーション(POL)は、バウンディングボックスアノテーションとターゲットオブジェクトラベルを持ついくつかの参照イメージに基づいて、クエリイメージ内のオブジェクトインスタンスをローカライズする。
先駆的手法であるIPLocは、視覚言語モデル(VLM)を用いたコンテキスト内推論によってこの問題を解決する。
しかし、クエリイメージが常にターゲットオブジェクトを含んでいると仮定する。
この仮定は、多くの無関係な画像を持つ現実世界のシナリオに適用性を大幅に制限する。
この問題に対処するために,POLを広範に数発のオブジェクト検出フレームワーク内に配置することにより,個人化されたオブジェクト識別と局所化(POIL)という新たなタスクを定式化する。
POILは、参照オブジェクトインスタンスを含まないクエリイメージを拒否しながら、ターゲットオブジェクトインスタンスをローカライズすることを目的としている。
また、パブリックソースから構築したPOILデータセットも提示する。
また、VLMを用いてPOILを解くために、IPLoc-IDというコンテキスト内アルゴリズムを提案する。
IPLoc-IDはまず候補境界ボックスを予測し、次に参照オブジェクトインスタンスに対応するかどうかを決定する。
この2つのステップを1つの自己回帰生成フレームワークで接続するための自己提案型クエリを導入する。
アブレーション研究と総合実験により、IPLoc-IDは、IPLocに匹敵するローカライゼーション性能を維持しつつ、負のクエリ画像上の偽陽性検出を著しく抑制することを示した。
全体として、IPLoc-IDは、従来のオブジェクト検出、少数ショットオブジェクト検出、あるいはローカライズのみのIPLocメソッドによって十分に解決できない、実用的なインスタンスレベルのPOILタスクに効果的に対処する。
関連論文リスト
- UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery [69.87589293875112]
無人航空機(UAV)は、タスク関連ターゲットのローカライズに視覚的な接地機能に依存している。
既存の参照式理解ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクトの出力に基づいて構築されている。
本稿では,一般的なUAV参照タスクであるemphUniversal Referringを導入する。
論文 参考訳（メタデータ） (2026-07-09T09:09:31Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - Improving Object Detection via Local-global Contrastive Learning [27.660633883387753]
本稿では,クロスドメインオブジェクト検出を対象とする画像から画像への変換手法を提案する。
ローカル・グローバル情報と対比することでオブジェクトを表現することを学ぶ。
これにより、ドメインシフトの下で、パフォーマンス検出(Performant detection)の取得という、未調査の課題の調査が可能になる。
論文 参考訳（メタデータ） (2024-10-07T14:18:32Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳（メタデータ） (2023-09-01T03:34:12Z) - Rethinking the Localization in Weakly Supervised Object Localization [51.29084037301646]
弱教師付きオブジェクトローカライゼーション(WSOL)は、コンピュータビジョンにおいて最も人気があり、困難なタスクの1つである。
最近、WSOLを2つの部分(クラスに依存しないオブジェクトのローカライゼーションとオブジェクトの分類)に分割することが、このタスクの最先端のパイプラインになっている。
本研究では,SCRを複数物体の局所化のためのバイナリクラス検出器(BCD)に置き換えることを提案する。
論文 参考訳（メタデータ） (2023-08-11T14:38:51Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳（メタデータ） (2023-07-07T04:03:48Z) - Referring Camouflaged Object Detection [88.63744004901655]
Ref-COD は、特定のカモフラージュされたオブジェクトを、サルエントターゲットオブジェクトによる参照画像の小さなセットに基づいて分割することを目的としている。
R2C7Kと呼ばれる大規模なデータセットは、実世界のシナリオで64のオブジェクトカテゴリをカバーする7Kイメージで構成されています。
論文 参考訳（メタデータ） (2023-06-13T04:15:37Z) - Image Segmentation-based Unsupervised Multiple Objects Discovery [1.7674345486888503]
教師なしオブジェクト発見は、イメージ内のオブジェクトをローカライズすることを目的としている。
我々は,複数のオブジェクトの発見に対して,完全に教師なしのボトムアップアプローチを提案する。
我々は、教師なしクラス非依存オブジェクト検出と教師なしイメージセグメンテーションの両方に対して、最先端の結果を提供する。
論文 参考訳（メタデータ） (2022-12-20T09:48:24Z) - Weakly Supervised Object Localization as Domain Adaption [19.854125742336688]
弱教師付きオブジェクトローカライゼーション(WSOL)は、画像レベルの分類マスクの監督のみでオブジェクトをローカライズすることに焦点を当てる。
従来のWSOL手法の多くは、MIL(Multi-instance Learning)機構を用いて分類構造に基づいてオブジェクトをローカライズする分類活性化マップ(CAM)に従っている。
この研究は、WSOLをドメイン適応(DA)タスクとしてモデル化する、新しい視点を提供する。そこでは、ソース/イメージドメインでトレーニングされたスコア推定器がターゲット/ピクセルドメイン上でテストされ、オブジェクトを見つける。
論文 参考訳（メタデータ） (2022-03-03T13:50:22Z) - Sketch-Guided Object Localization in Natural Images [16.982683600384277]
スケッチクエリにより,物体のすべてのインスタンスを自然な画像にローカライズする新たな問題(トレーニング中は見えなかったり見えなかったり)を導入する。
本稿では,スケッチクエリに関連するオブジェクト提案を生成するために,地域提案ネットワーク(RPN)をガイドする新しいクロスモーダルアテンションスキームを提案する。
我々の手法は1つのスケッチクエリで有効である。
論文 参考訳（メタデータ） (2020-08-14T19:35:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。