論文の概要: Sketch-Omni: Instance-Level Sketch-Based Visual Prompting for Perception MLLMs

• arxiv url: http://arxiv.org/abs/2611.04262v1
• Date: Tue, 03 Nov 2026 03:52:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:42:18.874131
• Title: Sketch-Omni: Instance-Level Sketch-Based Visual Prompting for Perception MLLMs
• Title（参考訳）: Sketch-Omni:知覚MLLMのためのインスタンスレベルのSketchベースのビジュアルプロンプト
• Abstract要約: Sketch-Omniは、スケッチとそれらから作業するために構築されたMLLMの最初の知覚である。 最強の汎用MLLMの81.8に対するスケッチプロンプトローカライゼーションでは91.4 F1に達する。 コード、モデル、手書きの2754のスケッチ・ツー・フォトリンクのベンチマークがリリースされる。
• 参考スコア（独自算出の注目度）: 46.96640481464575
• License:
• Abstract: Promptable perception, from GroundingDINO to Rex-Omni, puts one model behind one prompt interface and returns coordinates for any localisation task. Every model in that line was built for photographs; none has been given a sketch. We present Sketch-Omni, to our knowledge the first perception MLLM built to work on sketches and from them. On a sketch, the sketch is the image, and text prompts detect, point, resolve object and spatial referring expressions, and ground affordances in it. From a sketch, the sketch is the prompt, and a drawing of one object localises that object in a photograph, even among several of the same category, a query that neither a category name nor a photo exemplar can pose. Two obstacles stand in the way. A photo-trained model's attention is tuned to colour and texture, which a sketch does not have, and no dataset pairs a drawing with the one instance it depicts among others of its kind. We build the training data instead of collecting it. An edge detector turns every labelled photograph into a sketch-like drawing that keeps the photograph's labels, and two constructions produce sketch-to-photo instance pairs from existing data. On top of this, photo-guided relation alignment passes each photograph and its edge sketch through the same model and trains the sketch pass to reproduce how the photograph pass relates phrases to patches and patches to each other. Not one training label is drawn by hand. Sketch-Omni reaches 91.4 F1 on sketch-prompted localisation against 81.8 for the strongest general-purpose MLLM, with a lead that doubles when the photograph holds several instances of the queried category, and it is best in 39 of 40 evaluation cells across six tasks. Code, model, and a hand-annotated benchmark of 2754 sketch-to-photo links will be released.
• Abstract（参考訳）: GroundingDINO から Rex-Omni まで、予測可能な知覚は、1つのプロンプトインターフェースの背後に1つのモデルを配置し、任意のローカライゼーションタスクの座標を返す。 ライン内の全てのモデルは写真のために作られており、スケッチは与えられていない。 私たちはSketch-Omniについて、スケッチやそれらから作業するために構築されたMLLMの認識について、私たちの知る限りで紹介します。 スケッチでは、スケッチはイメージであり、テキストは、検出、ポイント、解決、オブジェクトと空間参照表現、そしてその中の地価を指示する。 スケッチから、スケッチはプロンプトであり、あるオブジェクトの描画は、同じカテゴリのいくつかであっても、カテゴリ名もフォトエクスプローラもポーズできないクエリを写真内のオブジェクトにローカライズする。 途中で2つの障害物が立っています。 写真に訓練されたモデルの注意は、スケッチが持たない色やテクスチャに調整され、データセットが、その種類のうちの1つのインスタンスと描画をペアリングすることはない。 トレーニングデータを収集する代わりに,トレーニングデータを構築します。 エッジ検出器は、すべてのラベル付き写真をスケッチ風に描画し、写真のラベルを保存し、2つの構造が既存のデータからスケッチ・ツー・フォトのインスタンスペアを生成する。 これに加えて、写真誘導関係のアライメントが、各写真とそのエッジスケッチを同じモデルにパスし、スケッチパスをトレーニングして、写真パスがフレーズとパッチとを関連付ける方法を再現する。 手書きのトレーニングラベルは1つもない。 Sketch-Omniは、最強汎用MLLMの81.8に対するスケッチプロンプトローカライゼーションで91.4 F1に達し、写真がクエリされたカテゴリのいくつかのインスタンスを保持するとリードが倍になり、6つのタスクで40の評価セルのうち39でベストである。 コード、モデル、手書きの2754のスケッチ・ツー・フォトリンクのベンチマークがリリースされる。

関連論文リスト

• Learning Dense Correspondences between Photos and Sketches [6.2420740599184175]
  人間は、スケッチと現実世界のオブジェクトの関連性を、たとえこれらのスケッチが現実的ではないとしても、しっかりと把握します。 我々は新しいスケッチ写真対応ベンチマークである$textitPSC6k$を導入し、125のオブジェクトカテゴリにわたる6250枚のスケッチ写真ペアの150Kアノテーションを含む。 次に,スケッチ・フォト・ペア間の密接な対応を学習するための自己教師付き手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:45:40Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis [42.83974176146334]
  自由自在なスケッチから写実的な写真をクラスラベルで合成することを目的とした,オープンドメインのスケッチから写真への翻訳について検討する。 トレーニング監督の欠如とフリーハンドスケッチとフォトドメイン間の大きな幾何学的歪みのため、これは困難である。 スケッチ・ツー・フォト・ツー・スケッチ生成を共同学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T17:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。