論文の概要: Dual-View Visual Contextualization for Web Navigation
- arxiv url: http://arxiv.org/abs/2402.04476v2
- Date: Sat, 30 Mar 2024 05:18:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 14:15:46.192185
- Title: Dual-View Visual Contextualization for Web Navigation
- Title（参考訳）: Webナビゲーションのためのデュアルビュービジュアルコンテクスト化
- Authors: Jihyung Kil, Chan Hee Song, Boyuan Zheng, Xiang Deng, Yu Su, Wei-Lun Chao,
- Abstract要約: 本稿では,HTML 要素を Web ページのスクリーンショットの "デュアルビュー" を通じてコンテキスト化することを提案する。
Web開発者は、ユーザエクスペリエンスを向上させるために、Webページの近くにタスク関連の要素を配置する傾向があります。
結果として生じるHTML要素の表現は、エージェントがアクションを取るためのより情報的です。
- 参考スコア（独自算出の注目度）: 36.41910428196889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic web navigation aims to build a web agent that can follow language instructions to execute complex and diverse tasks on real-world websites. Existing work primarily takes HTML documents as input, which define the contents and action spaces (i.e., actionable elements and operations) of webpages. Nevertheless, HTML documents may not provide a clear task-related context for each element, making it hard to select the right (sequence of) actions. In this paper, we propose to contextualize HTML elements through their "dual views" in webpage screenshots: each HTML element has its corresponding bounding box and visual content in the screenshot. We build upon the insight -- web developers tend to arrange task-related elements nearby on webpages to enhance user experiences -- and propose to contextualize each element with its neighbor elements, using both textual and visual features. The resulting representations of HTML elements are more informative for the agent to take action. We validate our method on the recently released Mind2Web dataset, which features diverse navigation domains and tasks on real-world websites. Our method consistently outperforms the baseline in all the scenarios, including cross-task, cross-website, and cross-domain ones.
- Abstract（参考訳）: 自動Webナビゲーションは、言語命令に従って現実世界のウェブサイトで複雑で多様なタスクを実行するWebエージェントを構築することを目的としている。
既存の作業は、主にHTMLドキュメントを入力として取り、Webページのコンテンツとアクション空間(つまり実行可能な要素と操作)を定義する。
それにもかかわらず、HTMLドキュメントは各要素に対して明確なタスク関連コンテキストを提供していないため、正しい(順序の)アクションを選択するのが困難である。
本稿では,Webページのスクリーンショットにおいて,各HTML要素が対応するバウンディングボックスとスクリーンショット内の視覚的コンテンツを持つ「デュアルビュー」を通じて,HTML要素をコンテキスト化することを提案する。
Web開発者は、Webページの近くにあるタスク関連の要素を配置してユーザエクスペリエンスを向上させる傾向があり、テキストとビジュアルの両方の機能を使って、各要素をその隣の要素でコンテキスト化することを提案します。
結果として生じるHTML要素の表現は、エージェントがアクションを取るためのより情報的です。
我々は最近リリースされたMind2Webデータセット上で,実際のWebサイト上で多様なナビゲーションドメインとタスクを特徴付ける手法を検証する。
提案手法は,クロスタスク,クロスWebサイト,クロスドメインなど,すべてのシナリオにおいて一貫してベースラインを上回ります。
関連論文リスト
- Infogent: An Agent-Based Framework for Web Information Aggregation [59.67710556177564]
我々はWeb情報集約のための新しいフレームワークInfogentを紹介する。
異なる情報アクセス設定の実験では、Infogentが既存のSOTAマルチエージェント検索フレームワークを7%上回った。
論文 参考訳（メタデータ） (2024-10-24T18:01:28Z) - Harnessing Webpage UIs for Text-Rich Visual Understanding [112.01029887404296]
テキストベース大規模言語モデル(LLM)を用いたWebページUIからの汎用マルチモーダル命令の合成を提案する。
これらの命令はUIスクリーンショットと組み合わせて、マルチモーダルモデルのトレーニングを行う。
我々は、100万のWebサイトから730万のサンプルを含むデータセットであるMultiUIを紹介し、多様なマルチモーダルタスクとUIレイアウトをカバーした。
論文 参考訳（メタデータ） (2024-10-17T17:48:54Z) - Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs [112.89665642941814]
MLLM(Multimodal large language model)は、画像、ビデオ、オーディオなどのモダリティにおいて顕著な成功を収めている。
現在のMLLMは、Webページのスクリーンショットを理解し、対応するHTMLコードを生成するのに驚くほど貧弱です。
命令チューニングのための大規模Webページ・ツー・コードデータセットを新たに構築したベンチマークであるWeb2Codeを提案する。
論文 参考訳（メタデータ） (2024-06-28T17:59:46Z) - A Suite of Generative Tasks for Multi-Level Multimodal Webpage
Understanding [66.6468787004067]
ウィキペディアのWebページスイート (WikiWeb2M) には, 関連画像, テキスト, 構造データを含む2Mページが含まれている。
我々は,最も関連性の高い画像とテキストをグローバルトークンとして選択し,Webページの他の部分へのコンテクストへの参加を可能にする,新しいアテンションメカニズムであるPrefix Globalを設計する。
論文 参考訳（メタデータ） (2023-05-05T16:38:05Z) - WebFormer: The Web-page Transformer for Structure Information Extraction [44.46531405460861]
構造情報抽出は、構造化されたテキストフィールドをWebページから抽出するタスクを指す。
シーケンスモデリングを用いた最近の自然言語モデルは、Web情報抽出における最先端の性能を実証している。
本稿では、Webドキュメントから構造情報を抽出するWebページトランスフォーマーモデルであるWebFormerを紹介する。
論文 参考訳（メタデータ） (2022-02-01T04:44:02Z) - DOM-LM: Learning Generalizable Representations for HTML Documents [33.742833774918786]
我々は、既存のアプローチの限界に対処するDOM-LMと呼ばれる新しい表現学習手法をWebページに導入する。
我々は,属性抽出,オープン情報抽出,質問回答など,さまざまなWebページ理解タスクにおけるDOM-LMの評価を行った。
論文 参考訳（メタデータ） (2022-01-25T20:10:32Z) - CoVA: Context-aware Visual Attention for Webpage Information Extraction [65.11609398029783]
WIE をコンテキスト対応 Web ページオブジェクト検出タスクとして再構築することを提案する。
我々は、外観特徴とDOMツリーからの構文構造を組み合わせた、コンテキスト認識型視覚意図ベース(CoVA)検出パイプラインを開発した。
提案手法は,従来の最先端手法を改良した新しい挑戦的ベースラインであることを示す。
論文 参考訳（メタデータ） (2021-10-24T00:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。