論文の概要: I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches

• arxiv url: http://arxiv.org/abs/2205.04026v1
• Date: Mon, 9 May 2022 04:23:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-11 00:00:23.816184
• Title: I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches
• Title（参考訳）: あなたが何を描いているか分かる: いくつかのフリーハンドスケッチに条件づけられた学習把握検出
• Authors: Haitao Lin, Chilam Cheang, Yanwei Fu, Xiangyang Xue
• Abstract要約: そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
• 参考スコア（独自算出の注目度）: 74.63313641583602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we are interested in the problem of generating target grasps by understanding freehand sketches. The sketch is useful for the persons who cannot formulate language and the cases where a textual description is not available on the fly. However, very few works are aware of the usability of this novel interactive way between humans and robots. To this end, we propose a method to generate a potential grasp configuration relevant to the sketch-depicted objects. Due to the inherent ambiguity of sketches with abstract details, we take the advantage of the graph by incorporating the structure of the sketch to enhance the representation ability. This graph-represented sketch is further validated to improve the generalization of the network, capable of learning the sketch-queried grasp detection by using a small collection (around 100 samples) of hand-drawn sketches. Additionally, our model is trained and tested in an end-to-end manner which is easy to be implemented in real-world applications. Experiments on the multi-object VMRD and GraspNet-1Billion datasets demonstrate the good generalization of the proposed method. The physical robot experiments confirm the utility of our method in object-cluttered scenes.
• Abstract（参考訳）: 本稿では,自由ハンドスケッチの理解による目標把握の問題に注目する。 このスケッチは、言語を定式化できない人や、テキストによる記述が手に入らない場合に有用である。 しかし、この新しい人間とロボットの対話的な方法の使い勝手に気づいている作品はほとんどない。 そこで本研究では,スケッチ指定対象に関連する潜在的把握構成を生成する手法を提案する。 抽象的な詳細を持つスケッチの本質的曖昧さのため、スケッチの構造を取り入れて表現能力を高めることにより、グラフの利点を生かしている。 このグラフ表現スケッチは、ネットワークの一般化を改善するためにさらに検証され、手描きスケッチの小さなコレクション(約100サンプル)を用いて、スケッチ待ちの把握検出を学習することができる。 さらに、我々のモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされます。 マルチオブジェクトVMRDとGraspNet-1Billionデータセットの実験は,提案手法の優れた一般化を実証している。 物理的ロボット実験により, 物体分割シーンにおける本手法の有用性を確認した。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
  本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。 私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
  論文  参考訳（メタデータ） (2024-03-12T01:05:25Z)
• Towards Interactive Image Inpainting via Sketch Refinement [13.34066589008464]
  そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。 第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。 第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
  論文  参考訳（メタデータ） (2023-06-01T07:15:54Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。