論文の概要: Learning to Infer User Interface Attributes from Images
- arxiv url: http://arxiv.org/abs/1912.13243v1
- Date: Tue, 31 Dec 2019 09:45:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:05:08.862012
- Title: Learning to Infer User Interface Attributes from Images
- Title(参考訳): 画像からユーザインタフェース属性を推測する学習
- Authors: Philippe Schlattner, Pavol Bielik, Martin Vechev
- Abstract要約: 設計者が作成した入力画像からユーザインタフェースの属性を推測する。
現実世界のGoogle Play Storeアプリケーションからなるデータセットで92.5%の精度を達成した。
- 参考スコア(独自算出の注目度): 6.617487928813376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore a new domain of learning to infer user interface attributes that
helps developers automate the process of user interface implementation.
Concretely, given an input image created by a designer, we learn to infer its
implementation which when rendered, looks visually the same as the input image.
To achieve this, we take a black box rendering engine and a set of attributes
it supports (e.g., colors, border radius, shadow or text properties), use it to
generate a suitable synthetic training dataset, and then train specialized
neural models to predict each of the attribute values. To improve pixel-level
accuracy, we additionally use imitation learning to train a neural policy that
refines the predicted attribute values by learning to compute the similarity of
the original and rendered images in their attribute space, rather than based on
the difference of pixel values. We instantiate our approach to the task of
inferring Android Button attribute values and achieve 92.5% accuracy on a
dataset consisting of real-world Google Play Store applications.
- Abstract(参考訳): 我々は、開発者がユーザーインターフェイスの実装プロセスを自動化するのに役立つユーザーインターフェイス属性を推論する新しい学習領域を探求する。
具体的には、デザイナが作成した入力画像から、描画時に視覚的に入力画像と同じように見える実装を推測することを学ぶ。
これを実現するために、ブラックボックスレンダリングエンジンとそれをサポートする属性セット(色、境界半径、シャドウ、テキストプロパティなど)を取り、適切な合成トレーニングデータセットを生成するためにそれを使用し、その属性値を予測するために、特殊なニューラルネットワークモデルをトレーニングします。
画素レベルの精度を向上させるため,我々は,画素値の差ではなく,原画像と描画画像の類似性を計算することを学ぶことにより,予測属性値を洗練するニューラルポリシーの訓練に模倣学習を用いる。
現実のGoogle Play Storeアプリケーションからなるデータセット上で、Android Button属性値を推測するタスクへのアプローチをインスタンス化し、92.5%の精度を達成する。
関連論文リスト
- Pedestrian Attribute Recognition via CLIP based Prompt Vision-Language
Fusion [24.804554907625594]
我々は、PARを視覚言語融合問題として定式化し、歩行者画像と属性ラベルの関係を完全に活用する。
提案するPARアルゴリズムは, 微調整手法と比較して0.75%しか学習可能なパラメータを調整できない。
論文 参考訳(メタデータ) (2023-12-17T11:59:14Z) - Predicting Scores of Various Aesthetic Attribute Sets by Learning from
Overall Score Labels [54.63611854474985]
本稿では,画像属性ラベルを特徴抽出器に置き換えることを提案する。
異なるタスクのネットワークを使用して、F2Sモデルに属性機能を提供します。
本手法は, 各種の美的属性セットに対して, 総合的な美的スコアのみを用いて有意な属性スコアを学習できるようにする。
論文 参考訳(メタデータ) (2023-12-06T01:41:49Z) - Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。
クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-04T02:25:40Z) - A Comprehensive Study of Image Classification Model Sensitivity to
Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
このデータセットをRIVAL10と呼びます。
本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。
本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
論文 参考訳(メタデータ) (2022-01-26T06:31:28Z) - AugNet: End-to-End Unsupervised Visual Representation Learning with
Image Augmentation [3.6790362352712873]
我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。
実験により,低次元空間における画像の表現が可能であることを実証した。
多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
論文 参考訳(メタデータ) (2021-06-11T09:02:30Z) - Scalable Visual Attribute Extraction through Hidden Layers of a Residual
ConvNet [7.6702700993064115]
本稿では,一般畳み込みネットワークの隠れたレイヤの学習能力を活用し,画像から視覚属性を抽出する手法を提案する。
imagenetでトレーニングされたresnet-50を用いて実験を行い、色とテクスチャを区別するために異なるブロックの出力を評価する。
論文 参考訳(メタデータ) (2021-03-31T23:39:20Z) - Data Augmentation for Object Detection via Differentiable Neural
Rendering [71.00447761415388]
注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。
この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。
オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
論文 参考訳(メタデータ) (2021-03-04T06:31:06Z) - Attribute Prototype Network for Zero-Shot Learning [113.50220968583353]
差別的グローバルな特徴と局所的な特徴を共同で学習するゼロショット表現学習フレームワークを提案する。
本モデルでは,画像中の属性の視覚的証拠を指摘し,画像表現の属性ローカライゼーション能力の向上を確認した。
論文 参考訳(メタデータ) (2020-08-19T06:46:35Z) - CompGuessWhat?!: A Multi-task Evaluation Framework for Grounded Language
Learning [78.3857991931479]
本稿では,属性を用いたグラウンドド言語学習のための評価フレームワークGROLLAを提案する。
また、学習したニューラル表現の品質を評価するためのフレームワークの例として、新しいデータセットCompGuessWhat!?を提案する。
論文 参考訳(メタデータ) (2020-06-03T11:21:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。