論文の概要: How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval?

• arxiv url: http://arxiv.org/abs/2403.07203v2
• Date: Wed, 20 Mar 2024 19:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 18:48:21.249732
• Title: How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval?
• Title（参考訳）: スケッチに基づく画像検索におけるスケッチ抽象化の扱い方
• Authors: Subhadeep Koley, Ayan Kumar Bhunia, Aneeshan Sain, Pinaki Nath Chowdhury, Tao Xiang, Yi-Zhe Song,
• Abstract要約: スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。 粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。 私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
• 参考スコア（独自算出の注目度）: 120.49126407479717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose a novel abstraction-aware sketch-based image retrieval framework capable of handling sketch abstraction at varied levels. Prior works had mainly focused on tackling sub-factors such as drawing style and order, we instead attempt to model abstraction as a whole, and propose feature-level and retrieval granularity-level designs so that the system builds into its DNA the necessary means to interpret abstraction. On learning abstraction-aware features, we for the first-time harness the rich semantic embedding of pre-trained StyleGAN model, together with a novel abstraction-level mapper that deciphers the level of abstraction and dynamically selects appropriate dimensions in the feature matrix correspondingly, to construct a feature matrix embedding that can be freely traversed to accommodate different levels of abstraction. For granularity-level abstraction understanding, we dictate that the retrieval model should not treat all abstraction-levels equally and introduce a differentiable surrogate Acc.@q loss to inject that understanding into the system. Different to the gold-standard triplet loss, our Acc.@q loss uniquely allows a sketch to narrow/broaden its focus in terms of how stringent the evaluation should be - the more abstract a sketch, the less stringent (higher q). Extensive experiments depict our method to outperform existing state-of-the-arts in standard SBIR tasks along with challenging scenarios like early retrieval, forensic sketch-photo matching, and style-invariant retrieval.
• Abstract（参考訳）: 本稿では,様々なレベルでスケッチの抽象化を処理可能な,新しい抽象化対応のスケッチベース画像検索フレームワークを提案する。 従来は,図形や順序などのサブファクタの処理に重点を置いていたが,その代わりに抽象化全体をモデル化し,機能レベルと検索粒度レベルの設計を提案し,システムをそのDNAに組み込むことで抽象化を解釈する必要があった。 抽象化を意識した特徴の学習では,事前学習したStyleGANモデルのリッチなセマンティック埋め込みと,抽象化のレベルを解読し,特徴行列の適切な次元を動的に選択する新しい抽象化レベルのマッパーを併用して,異なる抽象化レベルに対応するために自由にトラバース可能な特徴行列埋め込みを構築する。 粒度レベルの抽象化理解のために、検索モデルは全ての抽象化レベルを等しく扱ってはならないと判断し、微分可能なサロゲートAccを導入する。 システムにその理解を注入するために、@qは失われます。 金標準の三重項の損失と異なり、Acc。 qの損失は、スケッチがいかに厳密であるかという観点で焦点を絞りたり壊したりすることができる。 大規模な実験では,従来のSBIRタスクを上回り,早期検索,法医学的スケッチ写真マッチング,スタイル不変検索といった難題を克服する。

関連論文リスト

• Efficient Exploration and Discriminative World Model Learning with an Object-Centric Abstraction [19.59151245929067]
  エージェントにオブジェクト中心のマッピング(アイテムとその属性のセットを記述する)を与えることで、より効率的な学習が可能になるかどうかを検討する。 この問題は、ピクセルへの高レベルの状態抽象化でアイテムをモデル化することで、階層的に最もよく解決されている。 我々はこの手法を用いて、差別的な世界モデルを学ぶ完全モデルベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-21T17:59:31Z)
• Emergence and Function of Abstract Representations in Self-Supervised Transformers [0.0]
  本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。 ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。 正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
  論文  参考訳（メタデータ） (2023-12-08T20:47:15Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Conditional Human Sketch Synthesis with Explicit Abstraction Control [0.0]
  本稿では,クラス条件とフォト・ツー・スケッチ合成における抽象的制御に対処する,新しい自由手スケッチ合成手法を提案する。 本稿では,2つの新しい抽象化制御機構,状態埋め込みとストロークトークンをトランスフォーマベース潜在拡散モデルに統合する。
  論文  参考訳（メタデータ） (2023-06-15T16:54:58Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
  本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。 スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
  論文  参考訳（メタデータ） (2022-02-11T18:35:25Z)
• Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning [120.38381203153159]
  強化学習は、複雑なタスクを効果的に実行するポリシーを訓練することができる。 長期のタスクでは、これらのメソッドのパフォーマンスは水平線とともに劣化し、しばしば推論と下層のスキルの構築を必要とします。 そこで我々は,各下層スキルに対応する値関数を用いて,そのような表現を生成するシンプルな手法として,値関数空間を提案する。
  論文  参考訳（メタデータ） (2021-11-04T22:46:16Z)
• On Learning Semantic Representations for Million-Scale Free-Hand Sketches [146.52892067335128]
  百万のフリーハンドスケッチのための学習意味表現について研究する。 スケッチを表現するために,デュアルブランチCNNRNNネットワークアーキテクチャを提案する。 ハッシュ検索とゼロショット認識におけるスケッチ指向の意味表現の学習について検討する。
  論文  参考訳（メタデータ） (2020-07-07T15:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。