論文の概要: LoWAgent: A Low-Resource Multilingual Benchmark for Web Agents

• arxiv url: http://arxiv.org/abs/2610.27205v1
• Date: Mon, 19 Oct 2026 19:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.483955
• Title: LoWAgent: A Low-Resource Multilingual Benchmark for Web Agents
• Title（参考訳）: LoWAgent: Webエージェントのための低リソース多言語ベンチマーク
• Abstract要約: Low-Resource Web Agent Benchmark (LoWAgent)は、異なる低リソース言語(LRL)にわたるWebエージェントを評価するベンチマークである。 LoWAgentは英語でウェブエージェントを評価し、Hindi、Bengali、Urdu、Amharicの4つのLRLを評価している。 6つのウェブサイトで5言語すべてでクローズドソースと5つのオープンソースモデルを評価します。
• 参考スコア（独自算出の注目度）: 8.557128153478265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web agents are typically evaluated on English-language interfaces, leaving their ability to operate across the world's multilingual websites largely unexplored. This gap is especially significant for low-resource languages, where standardized resources for evaluating web agents remain limited. To address this gap, we introduce Low-Resource Web Agent Benchmark (LoWAgent), a benchmark for evaluating web agents across different low-resource languages (LRLs) in comparison to the default, English. LoWAgent evaluates web agents across English and four LRLs: Hindi, Bengali, Urdu, and Amharic. The benchmark comprises of six fully localized websites, instantiated across five languages to yield 3,000 task instances. We evaluate three closed-source and five open-source models across all five languages on all six websites. Our findings show that both closed-source and open-source models experience performance degradation for LRLs compared to English, with substantially greater performance drops observed among the open-source model agents. We further evaluate the robustness of the models on realistic interface disruptions, such as cookie notices and advertisement pop-ups, and find that these further degrade agentic performance. Finally, we show that post-training on a small subset of LoWAgent traces can significantly improve low-resource language agentic task performance, demonstrating the usefulness of our benchmark.
• Abstract（参考訳）: Webエージェントは一般的に英語のインターフェイスで評価され、世界中の多言語ウェブサイトで操作する能力はほとんど探索されていない。 このギャップは、Webエージェントを評価するための標準化されたリソースが限られている低リソース言語にとって、特に重要である。 このギャップに対処するため,ローリソースWebエージェントベンチマーク (LoWAgent) を導入し,デフォルトの英語と比較して,異なる低リソース言語 (LRL) にわたるWebエージェントを評価するベンチマークを行った。 LoWAgentは英語でウェブエージェントを評価し、Hindi、Bengali、Urdu、Amharicの4つのLRLを評価している。 ベンチマークは6つの完全にローカライズされたWebサイトで構成され、5つの言語でインスタンス化され、3000のタスクインスタンスを生成する。 6つのウェブサイトで5言語すべてでクローズドソースと5つのオープンソースモデルを評価します。 本研究の結果から, LRLの性能低下は, オープンソースモデルエージェント間で顕著に顕著であった。 さらに,クッキー通知や広告ポップアップなど,現実的なインターフェース破壊に対するモデルの堅牢性を評価し,エージェント性能をさらに低下させることを見出した。 最後に,LoWAgentトレースの少数部分に対するポストトレーニングにより,低リソース言語エージェントタスクの性能が大幅に向上し,ベンチマークの有用性が示された。

関連論文リスト

• BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents [48.54460511104735]
  大規模言語モデル(LLM)エージェントは、ツールの使用やユーザや環境とのインタラクションを通じて、ますます多段階的に実行される。 既存のエージェントベンチマークを新しい言語に適応させるベンチマーク汎用エージェントワークフローであるBabelFlowを紹介する。 BabelFlowを用いて、4つのベンチマークファミリー、13ドメイン、23言語にわたる702の標準タスクから16,146のインスタンスからなるタスク整列型ベンチマークであるBabelArenaを構築した。
  論文  参考訳（メタデータ） (2026-09-20T09:25:38Z)
• VLURes: Benchmarking VLM Visual and Linguistic Understanding in Low-Resource Languages [28.434129158759877]
  本稿では,8つの視覚・言語タスクと,非関連タスクの先駆的機能を備えた新しいベンチマークVLUReを紹介する。 我々のデータセットには10の多様な画像カテゴリとリッチテキストコンテキストが含まれており、スワヒリ語とウルドゥー語に貴重な視覚言語リソースを導入しています。 最高のパフォーマンスモデルであるGPT-4oは、全体的な精度を90.8%、人間のパフォーマンスを6.7%向上させるが、オープンソースモデルでは差が大きい。
  論文  参考訳（メタデータ） (2025-10-14T01:41:43Z)
• X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System [11.313780010313524]
  X-WebAgentBenchは対話型Web環境における新しい多言語エージェントベンチマークである。 複数の言語にまたがる言語エージェントの計画と相互作用性能を評価する。 以上の結果から, GPT-4oのような高度なモデルでも, 言語横断技術と組み合わせると, 良好な結果が得られないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-21T11:07:02Z)
• OpenAgents: An Open Platform for Language Agents in the Wild [71.16800991568677]
  OpenAgentsは、日々の生活の中で言語エージェントを使い、ホストするためのオープンなプラットフォームです。 我々は課題と機会を解明し、現実世界の言語エージェントの将来の研究と開発の基礎を築きたいと考えています。
  論文  参考訳（メタデータ） (2023-10-16T17:54:53Z)
• Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models [31.509994889286183]
  我々はLanguage Agent Tree Search (LATS)を紹介した。Language Agent Tree Search (LATS)は、推論、行動、計画において言語モデル(LM)の能力を相乗化する最初の一般的なフレームワークである。 当社のアプローチの重要な特徴は、より意図的で適応的な問題解決メカニズムを提供する外部フィードバック環境の導入である。 LATSは、GPT-4でHumanEval上でプログラミングするための最先端パス@1精度(92.7%)を達成し、GPTによるWebShop上のWebナビゲーションの勾配ベースの微調整に匹敵する勾配なし性能(平均スコア75.9)を示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:11Z)
• A Real-World WebAgent with Planning, Long Context Understanding, and Program Synthesis [69.15016747150868]
  本稿では,WebAgentについて紹介する。WebAgentは自己経験から学習し,実際のWebサイト上でタスクを完了させるエージェントである。 WebAgentは、指示を標準のサブ命令に分解し、長いHTMLドキュメントをタスク関連スニペットに要約し、ウェブサイトで作用する計画である。 我々は、我々のモジュラーレシピが実際のWebサイトの成功を50%以上改善し、HTML-T5が様々なHTML理解タスクを解決する最良のモデルであることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-24T14:56:30Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。