Fugu-MT 論文翻訳(概要): ScreenQA: Large-Scale Question-Answer Pairs over Mobile App Screenshots

論文の概要: ScreenQA: Large-Scale Question-Answer Pairs over Mobile App Screenshots

arxiv url: http://arxiv.org/abs/2209.08199v2
Date: Thu, 22 Feb 2024 08:07:33 GMT
ステータス: 処理完了
システム内更新日: 2024-02-23 19:31:49.407085
Title: ScreenQA: Large-Scale Question-Answer Pairs over Mobile App Screenshots
Title（参考訳）: ScreenQA: モバイルアプリのスクリーンショットに関する大規模質問応答ペア
Authors: Yu-Chung Hsiao, Fedir Zubach, Maria Wang, Jindong Chen
Abstract要約: 質問応答による画面コンテンツ理解のための新しいタスクとデータセットScreenQAを提案する。既存のスクリーンデータセットは、構造とコンポーネントレベルの理解、あるいはナビゲーションやタスク補完といったより高度な複合タスクに焦点を当てている。我々は,画面読取能力のベンチマークを期待して,86K問合せペアをRICOデータセット上にアノテートすることで,この2つのギャップを埋めようとしている。
参考スコア（独自算出の注目度）: 4.061524687541747
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new task and dataset, ScreenQA, for screen content understanding via question answering. The existing screen datasets are focused either on structure and component-level understanding, or on a much higher-level composite task such as navigation and task completion. We attempt to bridge the gap between these two by annotating 86K question-answer pairs over the RICO dataset in hope to benchmark the screen reading comprehension capacity.
Abstract（参考訳）: 質問応答による画面コンテンツ理解のための新しいタスクとデータセットScreenQAを提案する。既存のスクリーンデータセットは、構造とコンポーネントレベルの理解、あるいはナビゲーションやタスク補完といったより高度な複合タスクに焦点を当てている。画面読取能力のベンチマークを期待して,86K問合せペアをRICOデータセット上にアノテートすることで,この2つのギャップを埋めようとしている。

関連論文リスト

ScreenAI: A Vision-Language Model for UI and Infographics Understanding [4.914575630736291]
UIとインフォグラフィックの理解を専門とする視覚言語モデルであるScreenAIを紹介する。この混合の核心は、モデルがUI要素のタイプと位置を識別しなければならない新しいスクリーンアノテーションタスクである。これらのテキストアノテーションを使用して、画面を大規模言語モデルに記述し、質問応答(QA)、UIナビゲーション、要約トレーニングデータセットを大規模に生成する。
論文参考訳（メタデータ） (2024-02-07T06:42:33Z)
A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video [20.579167394855197]
本稿では,タスクの訓練と評価を行うためのマルチモーダル映像要約タスク設定とデータセットを提案する。対象のタスクは、所定のビデオを複数のキャプチャペアに要約し、それらをリスト可能な形式で表示して、ビデオコンテンツを素早く把握することである。この課題は実践的な応用として有用であり、研究に値する極めて困難な問題を提示している。
論文参考訳（メタデータ） (2023-12-04T02:17:14Z)
End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文参考訳（メタデータ） (2023-06-01T08:04:12Z)
Temporal Saliency Query Network for Efficient Video Recognition [82.52760040577864]
ビデオ認識は、インターネットやモバイルデバイス上でのマルチメディアデータの爆発的な成長に関するホットスポット研究のトピックである。既存の方法の多くは、クラス固有のサリエンシスコアを意識せずに、サリエントフレームを選択する。そこで我々は,Saliency Query (TSQ) 機構を提案する。
論文参考訳（メタデータ） (2022-07-21T09:23:34Z)
MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
論文参考訳（メタデータ） (2022-01-25T22:30:54Z)
Quantifying the Task-Specific Information in Text-Based Classifications [20.148222318025528]
データセットのショートカットは、分類タスクの*task-specific information*(TSI)に寄与しない。本稿では,データセットの分類にタスク固有の情報がどの程度必要かを検討する。このフレームワークはデータセット間の比較を可能にし、"一連のショートカット機能"とは別に、Multi-NLIタスクの各サンプルの分類には、Quora Question Pairよりも約0.4ナットのTSIが含まれている、と述べている。
論文参考訳（メタデータ） (2021-10-17T21:54:38Z)
Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文参考訳（メタデータ） (2020-10-20T16:48:14Z)
Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文参考訳（メタデータ） (2020-05-13T16:35:27Z)
TVR: A Large-Scale Dataset for Video-Subtitle Moment Retrieval [111.93601253692165]
テレビ番組 Retrieval (TVR) は、新しいマルチモーダル検索データセットである。 TVRはビデオとそれに関連するサブタイトル(対話)のテキストの両方を理解する必要がある。データセットには、さまざまなジャンルの6つのテレビ番組から21.8Kビデオで収集された109Kクエリが含まれている。
論文参考訳（メタデータ） (2020-01-24T17:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。