論文の概要: Beyond BeautifulSoup: Benchmarking LLM-Powered Web Scraping for Everyday Users

• arxiv url: http://arxiv.org/abs/2601.06301v1
• Date: Fri, 09 Jan 2026 20:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.738429
• Title: Beyond BeautifulSoup: Benchmarking LLM-Powered Web Scraping for Everyday Users
• Title（参考訳）: Beyond BeautifulSoup: LLMを使ったWebストラップのベンチマーク
• Authors: Arth Bhardwaj, Nirav Diwan, Gang Wang,
• Abstract要約: 大規模言語モデル(LLM)はウェブスクレイピングを民主化しており、低スキルのユーザは単純な自然言語プロンプトを通じて洗練された操作を実行できる。 これまでのLCMベースのベンチマークでは,手作業による手作業がなくても,初心者のユーザはアクセス不能なWebサイトをスクラップできることがわかった。
• 参考スコア（独自算出の注目度）: 5.7578515237305625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Web scraping has historically required technical expertise in HTML parsing, session management, and authentication circumvention, which limited large-scale data extraction to skilled developers. We argue that large language models (LLMs) have democratized web scraping, enabling low-skill users to execute sophisticated operations through simple natural language prompts. While extensive benchmarks evaluate these tools under optimal expert conditions, we show that without extensive manual effort, current LLM-based workflows allow novice users to scrape complex websites that would otherwise be inaccessible. We systematically benchmark what everyday users can do with off-the-shelf LLM tools across 35 sites spanning five security tiers, including authentication, anti-bot, and CAPTCHA controls. We devise and evaluate two distinct workflows: (a) LLM-assisted scripting, where users prompt LLMs to generate traditional scraping code but maintain manual execution control, and (b) end-to-end LLM agents, which autonomously navigate and extract data through integrated tool use. Our results demonstrate that end-to-end agents have made complex scraping accessible - requiring as little as a single prompt with minimal refinement (less than 5 changes) to complete workflows. We also highlight scenarios where LLM-assisted scripting may be simpler and faster for static sites. In light of these findings, we provide simple procedures for novices to use these workflows and gauge what adversaries could achieve using these.
• Abstract（参考訳）: Webスクレイピングは、昔からHTMLパース、セッション管理、認証回避の技術的専門知識を必要としており、熟練した開発者に大規模なデータ抽出を制限してきた。 我々は,大規模言語モデル (LLM) がウェブスクレイピングを民主化しており,低スキルなユーザがシンプルな自然言語プロンプトを通じて高度な操作を実行できると主張している。 大規模なベンチマークでは、これらのツールを最適な専門家条件下で評価するが、大規模な手作業がなければ、現在のLLMベースのワークフローにより、初心者のユーザはアクセス不能な複雑なWebサイトをスクラップすることができる。 私たちは、認証、アンチボット、CAPTCHAコントロールを含む5つのセキュリティ層にまたがる35のサイトで、市販のLLMツールで日常的に何ができるかを、体系的にベンチマークします。 私たちは2つの異なるワークフローを考案し、評価します。 (a) LLM によるスクリプティングで、ユーザーは LLM に従来のスクレイピングコードを生成するように促すが、手作業による実行制御を維持する。 b) 統合ツールの使用を通じてデータを自律的にナビゲートし抽出するエンド・ツー・エンドのLSMエージェント。 我々の結果は、エンドツーエンドのエージェントが複雑なスクラップをアクセス可能にしたことを示している。ワークフローを完了させるには、最小限の修正(5変更未満)で1つのプロンプトしか必要としない。 また、静的サイトにおいてLCM支援のスクリプティングがよりシンプルで高速なシナリオも強調する。 これらの知見を踏まえて、初心者がこれらのワークフローを使い、それを用いて敵が何を達成できるかを評価するための簡単な手順を提供する。

関連論文リスト

• Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs [63.10710876536337]
  検証済みスクリプトの集合であるソフトウェア固有のスキルセットをキュレートするためのオフラインシミュレーションフレームワークを提案する。 本フレームワークは,1)タスク作成,トップダウン機能の利用,およびボトムアップAPIのシナジー探索という2つのコンポーネントから構成される。 Adobe Illustratorでの実験では、我々のフレームワークは自動化の成功率を大幅に改善し、レスポンス時間を短縮し、ランタイムトークンのコストを削減しています。
  論文  参考訳（メタデータ） (2025-04-29T04:03:37Z)
• PAFFA: Premeditated Actions For Fast Agents [19.576180667174366]
  PAFFAは、新しい推論時間手法を用いて、インターネット上でのタスクの完了を高速かつ正確にする手法である。 PAFFAは、堅牢なパフォーマンスを維持しながら、推論時間トークンを87%大幅に削減する。 調査に基づいてアクションライブラリを更新するUnravelの能力は、目に見えないウェブサイトへの一般化と適応を可能にする。
  論文  参考訳（メタデータ） (2024-12-10T22:51:31Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• User-LLM: Efficient LLM Contextualization with User Embeddings [23.226164112909643]
  User-LLMは、ユーザ埋め込みを利用して、大きな言語モデルとユーザ履歴の相互作用を直接コンテキスト化する新しいフレームワークである。 提案手法では,ユーザタイムラインを直接埋め込みとして表現することで,最大78.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-02-21T08:03:27Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。