論文の概要: Computer User Interface Understanding. A New Dataset and a Learning Framework

• arxiv url: http://arxiv.org/abs/2403.10170v1
• Date: Fri, 15 Mar 2024 10:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:40:24.179518
• Title: Computer User Interface Understanding. A New Dataset and a Learning Framework
• Title（参考訳）: 新しいデータセットと学習フレームワーク
• Authors: Andrés Muñoz, Daniel Borrajo,
• Abstract要約: コンピュータUI理解の難しい課題を紹介します。 ユーザがアクションのシーケンスを実行しているビデオのセットでデータセットを提示し、各画像はその時点のデスクトップコンテンツを表示する。 また,データセットに関連する特徴を付加する合成サンプル生成パイプラインを構成するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.4473568032515147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User Interface (UI) understanding has been an increasingly popular topic over the last few years. So far, there has been a vast focus solely on web and mobile applications. In this paper, we introduce the harder task of computer UI understanding. With the goal of enabling research in this field, we have generated a dataset with a set of videos where a user is performing a sequence of actions and each image shows the desktop contents at that time point. We also present a framework that is composed of a synthetic sample generation pipeline to augment the dataset with relevant characteristics, and a contrastive learning method to classify images in the videos. We take advantage of the natural conditional, tree-like, relationship of the images' characteristics to regularize the learning of the representations by dealing with multiple partial tasks simultaneously. Experimental results show that the proposed framework outperforms previously proposed hierarchical multi-label contrastive losses in fine-grain UI classification.
• Abstract（参考訳）: ユーザインターフェース(UI)の理解は、ここ数年でますます人気が高まっているトピックです。 これまでのところ、Webやモバイルアプリケーションだけに重点を置いてきた。 本稿では,コンピュータUI理解の難しさについて紹介する。 この分野での研究を可能にするために、ユーザが一連のアクションを実行しているビデオと、その時点で各画像がデスクトップコンテンツを表示する一連のデータセットを作成した。 また、関連する特徴を持つデータセットを増強する合成サンプル生成パイプラインと、ビデオ内の画像の分類を行うコントラスト学習方法からなるフレームワークを提案する。 複数の部分的なタスクを同時に処理することで、画像の特徴と自然な条件、木のような関係を利用して表現の学習を規則化する。 実験結果から,提案したフレームワークは,これまで提案されていた階層型マルチラベル・コントラストのUI分類における損失よりも優れていた。

関連論文リスト

• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Mixture of Self-Supervised Learning [2.191505742658975]
  自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。 従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。 これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-07-27T14:38:32Z)
• Temporal Saliency Query Network for Efficient Video Recognition [82.52760040577864]
  ビデオ認識は、インターネットやモバイルデバイス上でのマルチメディアデータの爆発的な成長に関するホットスポット研究のトピックである。 既存の方法の多くは、クラス固有のサリエンシスコアを意識せずに、サリエントフレームを選択する。 そこで我々は,Saliency Query (TSQ) 機構を提案する。
  論文  参考訳（メタデータ） (2022-07-21T09:23:34Z)
• TopicFM: Robust and Interpretable Feature Matching with Topic-assisted [8.314830611853168]
  本稿では,効率,堅牢,解釈可能な画像マッチングアーキテクチャを提案する。 TopicFMと呼ばれる新しい特徴マッチングモジュールを導入し、画像間で同じ空間構造をトピックに大まかに整理する。 提案手法は,計算量を削減するために,共可視領域でのみマッチングを行うことができる。
  論文  参考訳（メタデータ） (2022-07-01T10:39:14Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• One-shot Scene Graph Generation [130.57405850346836]
  ワンショットシーングラフ生成タスクに対して,複数の構造化知識(関係知識知識)を提案する。 提案手法は既存の最先端手法よりも大きなマージンで優れる。
  論文  参考訳（メタデータ） (2022-02-22T11:32:59Z)
• Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
  本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。 本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。 画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2021-07-08T10:54:59Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)
• Multi-Modal Retrieval using Graph Neural Networks [1.8911962184174562]
  我々は、同じ高次元空間に埋め込まれた共同ビジョンと概念を学ぶ。 視覚と概念の関係をグラフ構造としてモデル化する。 また、選択的近傍接続に基づく新しい推論時間制御も導入する。
  論文  参考訳（メタデータ） (2020-10-04T19:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。