論文の概要: PSDoodle: Searching for App Screens via Interactive Sketching
- arxiv url: http://arxiv.org/abs/2204.01968v1
- Date: Tue, 5 Apr 2022 03:46:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 21:21:30.640828
- Title: PSDoodle: Searching for App Screens via Interactive Sketching
- Title（参考訳）: psdoodle:インタラクティブなスケッチによるアプリの画面検索
- Authors: Soumik Mohian, Christoph Csallner
- Abstract要約: キーワードベースのモバイル画面検索は、画面コンテンツを考慮せず、あらゆるレベルのユーザーにとって普遍的なツールとして機能しない。
PSDoodleはディープニューラルネットワークを用いて、デジタル描画インタフェース上で部分画面要素の描画を瞬時に認識する。
PSDoodleは、異なる描画スタイルをサポートし、ユーザのスケッチクエリに関連する検索結果を取得する。
- 参考スコア（独自算出の注目度）: 10.802619768399977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Keyword-based mobile screen search does not account for screen content and
fails to operate as a universal tool for all levels of users. Visual searching
(e.g., image, sketch) is structured and easy to adopt. Current visual search
approaches count on a complete screen and are therefore slow and tedious.
PSDoodle employs a deep neural network to recognize partial screen element
drawings instantly on a digital drawing interface and shows results in
real-time. PSDoodle is the first tool that utilizes partial sketches and
searches for screens in an interactive iterative way. PSDoodle supports
different drawing styles and retrieves search results that are relevant to the
user's sketch query. A short video demonstration is available online at:
https://youtu.be/3cVLHFm5pY4
- Abstract（参考訳）: キーワードベースのモバイル画面検索は、画面コンテンツを考慮せず、あらゆるレベルのユーザーにとって普遍的なツールとして機能しない。
ビジュアル検索(画像やスケッチなど)は構造化され、容易に適用できる。
現在のビジュアル検索のアプローチは、完全な画面で数えられるので、遅くて面倒だ。
PSDoodleはディープニューラルネットワークを用いて、デジタル描画インタフェース上で部分画面要素の描画を瞬時に認識し、結果をリアルタイムで表示する。
PSDoodleは、部分的なスケッチと、インタラクティブな反復的な方法で画面の検索を利用する最初のツールである。
PSDoodleは、異なる描画スタイルをサポートし、ユーザのスケッチクエリに関連する検索結果を取得する。
短いビデオデモは、https://youtu.be/3cvlhfm5py4で公開されている。
関連論文リスト
- SketchAgent: Language-Driven Sequential Sketch Generation [34.96339247291013]
SketchAgentは言語駆動でシーケンシャルなスケッチ生成方法である。
テキスト内例を通してモデルに導入した直感的なスケッチ言語を提案する。
脳卒中をストロークで描くことで、スケッチに固有の進化的でダイナミックな性質を捉えます。
論文 参考訳（メタデータ） (2024-11-26T18:32:06Z) - You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。
我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
論文 参考訳（メタデータ） (2024-03-12T00:27:18Z) - Multi-Granularity Representation Learning for Sketch-based Dynamic Face
Image Retrieval [13.287197931943961]
特定のシナリオでは、顔のスケッチを使用して人物を特定することができる。
スケッチ少ない顔画像検索(SLFIR)は、人や機械が描画プロセス中に対話する手段を提供することで、障壁を克服しようとする。
本研究では,SLFIR問題に対処する多粒度表現学習法(MGRL)を提案する。
論文 参考訳（メタデータ） (2023-12-31T02:17:14Z) - From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳（メタデータ） (2023-05-31T23:39:18Z) - Towards Practicality of Sketch-Based Visual Understanding [15.30818342202786]
スケッチは、先史時代から視覚的な物体を概念化し、描写するために用いられてきた。
この論文は、スケッチに基づく視覚的理解をより実践的に進めることを目的としている。
論文 参考訳（メタデータ） (2022-10-27T03:12:57Z) - A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch [63.12810494378133]
テキスト記述とスケッチを入力として,画像検索のためのエンドツーエンドのトレーニング可能なモデルを提案する。
テキストに加え、入力スケッチ(下図)を使用することで、従来のテキストベースの画像検索と比較して、検索リコールが大幅に増加することを実証的に実証した。
論文 参考訳（メタデータ） (2022-08-05T18:43:37Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳（メタデータ） (2022-05-09T04:23:36Z) - FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in
Context [112.07988211268612]
フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。
本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。
フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
論文 参考訳（メタデータ） (2022-03-04T03:00:51Z) - CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image
Encoders [0.7734726150561088]
CLIPDrawは、自然言語入力に基づいて新しい描画を合成するアルゴリズムである。
ピクセル画像ではなく、ベクターストローク(ベクトルストローク)上で動作します。
結果はCLIPDrawと他の合成-スルー-最適化法を比較した。
論文 参考訳（メタデータ） (2021-06-28T16:43:26Z) - Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image
Retrieval [203.2520862597357]
きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。
これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。
ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
論文 参考訳（メタデータ） (2020-02-24T15:36:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。