論文の概要: One Sketch for All: One-Shot Personalized Sketch Segmentation

• arxiv url: http://arxiv.org/abs/2112.10838v1
• Date: Mon, 20 Dec 2021 20:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 14:16:02.096825
• Title: One Sketch for All: One-Shot Personalized Sketch Segmentation
• Title（参考訳）: スケッチ1枚でパーソナライズしたスケッチのセグメンテーション
• Authors: Anran Qi, Yulia Gryaditskaya, Tao Xiang, Yi-Zhe Song
• Abstract要約: そこで本研究では,最初のワンショットパーソナライズドスケッチセグメンテーション手法を提案する。 我々は、同じカテゴリに属するすべてのスケッチを、特定の部分アノテーション付きの1つのスケッチでセグメント化することを目指している。 私たちは、例に埋め込まれた部分のセマンティクスを保存し、入力スタイルと抽象化に堅牢です。
• 参考スコア（独自算出の注目度）: 84.45203849671003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first one-shot personalized sketch segmentation method. We aim to segment all sketches belonging to the same category provisioned with a single sketch with a given part annotation while (i) preserving the parts semantics embedded in the exemplar, and (ii) being robust to input style and abstraction. We refer to this scenario as personalized. With that, we importantly enable a much-desired personalization capability for downstream fine-grained sketch analysis tasks. To train a robust segmentation module, we deform the exemplar sketch to each of the available sketches of the same category. Our method generalizes to sketches not observed during training. Our central contribution is a sketch-specific hierarchical deformation network. Given a multi-level sketch-strokes encoding obtained via a graph convolutional network, our method estimates rigid-body transformation from the reference to the exemplar, on the upper level. Finer deformation from the exemplar to the globally warped reference sketch is further obtained through stroke-wise deformations, on the lower level. Both levels of deformation are guided by mean squared distances between the keypoints learned without supervision, ensuring that the stroke semantics are preserved. We evaluate our method against the state-of-the-art segmentation and perceptual grouping baselines re-purposed for the one-shot setting and against two few-shot 3D shape segmentation methods. We show that our method outperforms all the alternatives by more than 10% on average. Ablation studies further demonstrate that our method is robust to personalization: changes in input part semantics and style differences.
• Abstract（参考訳）: 本稿では,最初の1ショットパーソナライズドスケッチセグメンテーション法を提案する。 我々は,同一のカテゴリに属するすべてのスケッチを,所定の部分アノテーションで1つのスケッチで区切ることを目標としている。 (i)例示に埋め込まれた部分意味論の保存、及び (ii)入力スタイルと抽象化に堅牢である。 私たちはこのシナリオをパーソナライズしている。 これにより、下流の微粒なスケッチ解析タスクに対して、非常に望まれるパーソナライズ機能を実現できる。 頑健なセグメンテーションモジュールをトレーニングするために、同じカテゴリで利用可能なスケッチのそれぞれに、模範的なスケッチを変形する。 本手法は訓練中に観察されないスケッチに一般化する。 私たちの中心となる貢献はスケッチ特有の階層的変形ネットワークです。 グラフ畳み込みネットワークを用いて得られたマルチレベルスケッチ・ストロークの符号化を前提として,本手法では,上層階の先行参照から剛体変換を推定する。 さらに、下層のストロークワイド変形により、模範から大域的に歪んだ参照スケッチへの有限変形を求める。 どちらのレベルの変形も、キーポイント間の平均2乗距離によって誘導され、ストロークのセマンティクスが保存される。 本手法は,単発セグメンテーションと知覚的グルーピングのベースラインに対して,また2つの数発3d形状セグメンテーション法に対して評価を行った。 提案手法は,全選択肢を平均10%以上上回る性能を示した。 アブレーション研究は、我々の手法がパーソナライズに頑健であること、すなわち入力部分のセマンティクスの変化とスタイルの違いをさらに示している。

関連論文リスト

• Open Vocabulary Semantic Scene Sketch Understanding [5.638866331696071]
  フリーハンドシーンスケッチの機械的理解における未探索だが基本的な視覚問題について検討する。 本研究では,意味的に認識可能な特徴空間を実現するスケッチエンコーダを導入し,その性能を意味的スケッチセグメンテーションタスクでテストすることで評価する。 提案手法は,セグメンテーション結果のゼロショットCLIP画素精度を37ポイント上回り,FS-COCOスケッチデータセットの精度が85.5%に達した。
  論文  参考訳（メタデータ） (2023-12-18T19:02:07Z)
• ContextSeg: Sketch Semantic Segmentation by Querying the Context with Attention [7.783971241874388]
  本稿では、この問題を2段階に分けて扱うための、シンプルかつ高効率なアプローチであるContextSegについて述べる。 第1段階では、ストロークの形状と位置情報をよりよく符号化するために、オートエンコーダネットワークにおける余分な密度距離場を予測することを提案する。 第2段階では、全ストロークを単一のエンティティとして扱い、デフォルトのアテンション機構を備えた自動回帰変換器を用いて、同じ意味部分内でストロークのグループをラベル付けする。
  論文  参考訳（メタデータ） (2023-11-28T10:53:55Z)
• Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images [133.68032636906133]
  本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。 形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
  論文  参考訳（メタデータ） (2022-11-14T16:18:11Z)
• From colouring-in to pointillism: revisiting semantic segmentation supervision [48.637031591058175]
  本稿では,意味的セグメンテーションアノテーションに対するポジリスト的アプローチを提案する。 Open Imagesデータセットで4,171のクラスに2260万のポイントラベルを収集してリリースしました。
  論文  参考訳（メタデータ） (2022-10-25T16:42:03Z)
• Learn to Learn Metric Space for Few-Shot Segmentation of 3D Shapes [17.217954254022573]
  メタラーニングに基づく3次元形状分割手法を提案する。 本稿では,ShapeNet部データセットにおける提案手法の優れた性能を,既存のベースラインや最先端の半教師手法と比較し,いくつかのシナリオで示す。
  論文  参考訳（メタデータ） (2021-07-07T01:47:00Z)
• Weakly Supervised Volumetric Segmentation via Self-taught Shape Denoising Model [27.013224147257198]
  モデル予測と学習の両方において、3D形状をより良く捉えることのできる、弱監督型セグメント化戦略を提案する。 本研究の目的は,弱いラベルを利用して自己学習型形状表現を抽出し,その表現をセグメント化予測に組み込むことである。
  論文  参考訳（メタデータ） (2021-04-27T10:03:45Z)
• On Learning Semantic Representations for Million-Scale Free-Hand Sketches [146.52892067335128]
  百万のフリーハンドスケッチのための学習意味表現について研究する。 スケッチを表現するために,デュアルブランチCNNRNNネットワークアーキテクチャを提案する。 ハッシュ検索とゼロショット認識におけるスケッチ指向の意味表現の学習について検討する。
  論文  参考訳（メタデータ） (2020-07-07T15:23:22Z)
• Self-Supervised Tuning for Few-Shot Segmentation [82.32143982269892]
  Few-shotのセグメンテーションは、アノテートされたサンプルがほとんどない各画像ピクセルにカテゴリラベルを割り当てることを目的としている。 既存のメタラーニング手法では, 画像から抽出した視覚的特徴を埋め込み空間に埋め込むと, カテゴリー別識別記述子の生成に失敗する傾向にある。 本稿では,複数のエピソードにまたがる潜在特徴の分布を,自己分割方式に基づいて動的に調整する適応型フレームワークチューニングを提案する。
  論文  参考訳（メタデータ） (2020-04-12T03:53:53Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。