論文の概要: Localizing Infinity-shaped fishes: Sketch-guided object localization in the wild

• arxiv url: http://arxiv.org/abs/2109.11874v1
• Date: Fri, 24 Sep 2021 10:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:04:30.496213
• Title: Localizing Infinity-shaped fishes: Sketch-guided object localization in the wild
• Title（参考訳）: インフィニティ型魚類の局在:野生におけるスケッチ誘導物体の局在
• Authors: Pau Riba, Sounak Dey, Ali Furkan Biten and Josep Llados
• Abstract要約: 本研究はスケッチ誘導オブジェクトローカライゼーションの問題について考察する。 人間のスケッチは、自然画像におけるオブジェクトのローカライゼーションを実行するクエリとして使用される。 ハードな分類を避けたスケッチ条件のDETRアーキテクチャを提案する。 実験により,我々のモデルとその変種が過去の最先端結果よりも著しく進歩していることが実証された。
• 参考スコア（独自算出の注目度）: 5.964436882344729
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work investigates the problem of sketch-guided object localization (SGOL), where human sketches are used as queries to conduct the object localization in natural images. In this cross-modal setting, we first contribute with a tough-to-beat baseline that without any specific SGOL training is able to outperform the previous works on a fixed set of classes. The baseline is useful to analyze the performance of SGOL approaches based on available simple yet powerful methods. We advance prior arts by proposing a sketch-conditioned DETR (DEtection TRansformer) architecture which avoids a hard classification and alleviates the domain gap between sketches and images to localize object instances. Although the main goal of SGOL is focused on object detection, we explored its natural extension to sketch-guided instance segmentation. This novel task allows to move towards identifying the objects at pixel level, which is of key importance in several applications. We experimentally demonstrate that our model and its variants significantly advance over previous state-of-the-art results. All training and testing code of our model will be released to facilitate future research{{https://github.com/priba/sgol_wild}}.
• Abstract（参考訳）: 本研究は,人間のスケッチを自然画像におけるオブジェクトのローカライゼーションを行うクエリとして用いる,スケッチ誘導オブジェクトローカライゼーション(sgol)の問題を検討する。 このクロスモーダルな設定では、まず、特定のSGOLトレーニングがなければ、固定されたクラスの前の作業よりもパフォーマンスが良くなるという、強靭なベースラインにコントリビュートする。 ベースラインは、利用可能なシンプルだが強力な手法に基づいて、SGOLアプローチのパフォーマンスを分析するのに有用である。 我々は,スケッチ条件付きDETR(Detection TRansformer)アーキテクチャを提案し,ハードな分類を避け,スケッチとイメージ間の領域ギャップを軽減し,オブジェクトインスタンスのローカライズを行う。 SGOLの主な目的はオブジェクト検出であるが、スケッチ誘導インスタンスセグメンテーションへの自然な拡張について検討した。 この新しいタスクは、いくつかのアプリケーションにおいて重要な、ピクセルレベルでのオブジェクトの識別に向けた移動を可能にする。 実験により,我々のモデルとその変種が過去の最先端結果よりも著しく進歩していることが実証された。 私たちのモデルのすべてのトレーニングとテストコードは、将来の研究を促進するためにリリースされます。

関連論文リスト

• What Can Human Sketches Do for Object Detection? [109.69076457732632]
  スケッチは非常に表現力が高く、本質的に主観的かつきめ細かい視覚的手がかりを捉えている。 スケッチ可能なオブジェクト検出フレームワークは、 textityou sketch -- textit that zebra' に基づいて検出する。 スケッチベース画像検索(SBIR)のために構築された基礎モデル(例えばCLIP)と既存のスケッチモデルとの直感的な相乗効果を示す。 特に、まず、エンコーダモデルの両方のスケッチブランチで独立に実行し、高度に一般化可能なスケッチとフォトエンコーダを構築する。
  論文  参考訳（メタデータ） (2023-03-27T12:33:23Z)
• Query-guided Attention in Vision Transformers for Localizing Objects Using a Single Sketch [17.63475613154152]
  オブジェクトの粗雑な手書きスケッチが与えられた場合、目標は、ターゲット画像上の同じオブジェクトのすべてのインスタンスをローカライズすることである。 この問題は、手描きスケッチの抽象的な性質、スケッチのスタイルや質のバリエーション、スケッチと自然画像の間に存在する大きな領域ギャップなどによって証明される。 本稿では,画像エンコーダの各ブロックにクロスアテンションを用いて,問合せ条件付き画像特徴を学習するスケッチ誘導型視覚トランスフォーマエンコーダを提案する。
  論文  参考訳（メタデータ） (2023-03-15T17:26:17Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition [101.59989523028264]
  Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。 本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:46:41Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings [22.889059874754242]
  脳卒中に基づく非フォトリアリスティック画像の生成は、コンピュータビジョンコミュニティにおいて重要な問題である。 従来の手法は、前景オブジェクトの位置、規模、正当性にほとんど変化のないデータセットに限られていた。 本研究では,1)前景と背景の筆画の区別を学習するための2段階の塗装手順を備えたセマンティック・ガイダンス・パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-11-25T09:00:04Z)
• Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
  そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。 クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
  論文  参考訳（メタデータ） (2020-10-19T12:36:11Z)
• Sketch-Guided Object Localization in Natural Images [16.982683600384277]
  スケッチクエリにより,物体のすべてのインスタンスを自然な画像にローカライズする新たな問題(トレーニング中は見えなかったり見えなかったり)を導入する。 本稿では,スケッチクエリに関連するオブジェクト提案を生成するために,地域提案ネットワーク(RPN)をガイドする新しいクロスモーダルアテンションスキームを提案する。 我々の手法は1つのスケッチクエリで有効である。
  論文  参考訳（メタデータ） (2020-08-14T19:35:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。