論文の概要: AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation

• arxiv url: http://arxiv.org/abs/2404.12753v1
• Date: Fri, 19 Apr 2024 09:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 15:36:14.849311
• Title: AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation
• Title（参考訳）: AutoCrawler: Webクローラ生成のためのプログレッシブなWebエージェント
• Authors: Wenhao Huang, Chenghao Peng, Zhixu Li, Jiaqing Liang, Yanghua Xiao, Liqian Wen, Zulong Chen,
• Abstract要約: 垂直情報Webページのためのクローラ生成タスクを提案する。 本稿では,段階的理解のためにHTMLの階層構造を利用する2段階フレームワークであるAutoCrawlerを提案する。
• 参考スコア（独自算出の注目度）: 55.86438100985539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Web automation is a significant technique that accomplishes complicated web tasks by automating common web actions, enhancing operational efficiency, and reducing the need for manual intervention. Traditional methods, such as wrappers, suffer from limited adaptability and scalability when faced with a new website. On the other hand, generative agents empowered by large language models (LLMs) exhibit poor performance and reusability in open-world scenarios. In this work, we introduce a crawler generation task for vertical information web pages and the paradigm of combining LLMs with crawlers, which helps crawlers handle diverse and changing web environments more efficiently. We propose AutoCrawler, a two-stage framework that leverages the hierarchical structure of HTML for progressive understanding. Through top-down and step-back operations, AutoCrawler can learn from erroneous actions and continuously prune HTML for better action generation. We conduct comprehensive experiments with multiple LLMs and demonstrate the effectiveness of our framework. Resources of this paper can be found at \url{https://github.com/EZ-hwh/AutoCrawler}
• Abstract（参考訳）: Webオートメーションは、一般的なWebアクションを自動化し、運用効率を向上し、手動による介入の必要性を減らすことで、複雑なWebタスクを達成する重要な技術である。 ラッパーのような従来の手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。 一方,大規模言語モデル (LLM) によって強化された生成エージェントは,オープンワールドシナリオにおける性能や再利用性に乏しい。 本研究では、垂直情報Webページのためのクローラ生成タスクと、LLMとクローラを組み合わせるパラダイムを導入し、クローラが多様なWeb環境をより効率的に処理できるようにする。 本稿では,段階的理解のためにHTMLの階層構造を利用する2段階フレームワークであるAutoCrawlerを提案する。 トップダウンとステップバックの操作を通じて、AutoCrawlerは誤ったアクションから学び、アクション生成を改善するために継続的にHTMLをプルーする。 複数のLLMを用いて包括的実験を行い,本フレームワークの有効性を実証する。 本論文の資料は \url{https://github.com/EZ-hwh/AutoCrawler} で見ることができる。

関連論文リスト

• Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs [112.89665642941814]
  MLLM(Multimodal large language model)は、画像、ビデオ、オーディオなどのモダリティにおいて顕著な成功を収めている。 現在のMLLMは、Webページのスクリーンショットを理解し、対応するHTMLコードを生成するのに驚くほど貧弱です。 命令チューニングのための大規模Webページ・ツー・コードデータセットを新たに構築したベンチマークであるWeb2Codeを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:59:46Z)
• VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
  MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。 Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。 benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
  論文  参考訳（メタデータ） (2024-04-09T02:29:39Z)
• AutoWebGLM: A Large Language Model-based Web Navigating Agent [33.55199326570078]
  オープンなAutoWebGLMをChatGLM3-6Bに基づいて開発する。 人間のブラウジングパターンにインスパイアされた我々は、まず、Webページを表現するためのHTML単純化アルゴリズムを設計する。 次に,カリキュラム学習のためのWebブラウジングデータを構築するために,ハイブリッドなヒューマンAI手法を用いる。
  論文  参考訳（メタデータ） (2024-04-04T17:58:40Z)
• On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
  本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。 本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:18:12Z)
• Cleaner Pretraining Corpus Curation with Neural Web Scraping [39.97459187762505]
  本稿では,Webページから一次的かつクリーンなテキストコンテンツを抽出するための,シンプルで高速かつ効果的なNeuScraper(NeuScraper)を提案する。 実験結果から,NeuScraperは20%以上の改善を達成し,ベースラインスクラップラーを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T16:04:03Z)
• A Real-World WebAgent with Planning, Long Context Understanding, and Program Synthesis [69.15016747150868]
  本稿では,WebAgentについて紹介する。WebAgentは自己経験から学習し,実際のWebサイト上でタスクを完了させるエージェントである。 WebAgentは、指示を標準のサブ命令に分解し、長いHTMLドキュメントをタスク関連スニペットに要約し、ウェブサイトで作用する計画である。 我々は、我々のモジュラーレシピが実際のWebサイトの成功を50%以上改善し、HTML-T5が様々なHTML理解タスクを解決する最良のモデルであることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-24T14:56:30Z)
• Understanding HTML with Large Language Models [73.92747433749271]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な性能を示している。 我々は,HTML 理解モデル (微調整 LLM ) と,その機能に関する3つのタスクの詳細な分析に貢献する。 本稿では,標準自然言語コーパスで事前訓練されたLLMが,HTML理解タスクに極めて適していることを示す。
  論文  参考訳（メタデータ） (2022-10-08T07:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。