論文の概要: BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese

• arxiv url: http://arxiv.org/abs/2504.19314v2
• Date: Thu, 01 May 2025 05:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.225132
• Title: BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese
• Title（参考訳）: BrowseComp-ZH:中国語における大規模言語モデルのWebブラウザ能力のベンチマーク
• Abstract要約: BrowseComp-ZHは、中国のWeb上で大規模言語モデル(LLM)を評価するためのベンチマークである。 11のドメインにまたがる289のマルチホップ質問で構成されている。 強い会話能力と検索能力にもかかわらず、ほとんどのモデルは苦戦している。
• 参考スコア（独自算出の注目度）: 30.994503814617637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) evolve into tool-using agents, the ability to browse the web in real-time has become a critical yardstick for measuring their reasoning and retrieval competence. Existing benchmarks such as BrowseComp concentrate on English and overlook the linguistic, infrastructural, and censorship-related complexities of other major information ecosystems -- most notably Chinese. To address this gap, we introduce BrowseComp-ZH, a high-difficulty benchmark purpose-built to comprehensively evaluate LLM agents on the Chinese web. BrowseComp-ZH consists of 289 multi-hop questions spanning 11 diverse domains. Each question is reverse-engineered from a short, objective, and easily verifiable answer (e.g., a date, number, or proper noun). A two-stage quality control protocol is applied to strive for high question difficulty and answer uniqueness. We benchmark over 20 state-of-the-art language models and agentic search systems on our proposed BrowseComp-ZH. Despite their strong conversational and retrieval capabilities, most models struggle severely: a large number achieve accuracy rates below 10%, and only a handful exceed 20%. Even the best-performing system, OpenAI's DeepResearch, reaches just 42.9%. These results demonstrate the considerable difficulty of BrowseComp-ZH, where success demands not only effective retrieval strategies, but also sophisticated reasoning and information reconciliation -- capabilities that current models still struggle to master. Our dataset, construction guidelines, and benchmark results have been publicly released at https://github.com/PALIN2018/BrowseComp-ZH.
• Abstract（参考訳）: 大規模言語モデル(LLM)がツール利用エージェントへと進化するにつれて、Webをリアルタイムで閲覧する能力は、その推論と検索能力を測定する上で重要な要素となっている。 BrowseCompのような既存のベンチマークは英語に集中しており、他の主要情報エコシステムの言語、インフラ、検閲に関連する複雑さを見落としている。 このギャップに対処するために、中国ウェブ上でLLMエージェントを包括的に評価するために構築された高次ベンチマークであるBrowseComp-ZHを紹介する。 BrowseComp-ZHは11のドメインにまたがる289のマルチホップ質問で構成されている。 各質問は、短く客観的で容易に検証可能な答え(例えば、日付、番号、固有名詞)からリバースエンジニアリングされる。 2段階の品質制御プロトコルを適用し、高い疑問の難しさと一意性に答える。 提案したBrowseComp-ZH上で20以上の最先端言語モデルとエージェント検索システムをベンチマークする。 強い会話能力と検索能力にもかかわらず、ほとんどのモデルは厳しい苦労をしており、多くのモデルは10%未満の精度で達成し、わずかに20%を超える程度である。 最も優れたシステムであるOpenAIのDeepResearchでさえ、わずか42.9%である。 これらの結果は、BrowseComp-ZHの相当な難しさを示している。そこでは、効果的な検索戦略だけでなく、洗練された推論と情報和解も要求される。 私たちのデータセット、構築ガイドライン、ベンチマーク結果はhttps://github.com/PALIN2018/BrowseComp-ZH.comで公開されています。

関連論文リスト

• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
  ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。 SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。 SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
  論文  参考訳（メタデータ） (2025-11-07T18:01:32Z)
• Tagging-Augmented Generation: Assisting Language Models in Finding Intricate Knowledge In Long Contexts [6.14987671066697]
  本稿では,Taging-Augmented Generation (TAG) を長文シナリオのための軽量データ拡張戦略として提案する。 NoLima と NovelQA という,難解で直接的な質問応答ベンチマークを2つ加えることで,私たちの仮説を検証する。 コンテキストをタグ付けしたり、あるいはQAプロンプトにタグ定義を追加するだけで、ベースラインよりも一貫したパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-27T03:23:25Z)
• WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents [57.203515352080295]
  本稿では,モデルに基づく探索と反復的,長短のクエリ進化を用いた体系的データ生成手法であるWebExplorerを紹介する。 我々のモデルは、128Kのコンテキスト長と最大100のツール呼び出しスイッチをサポートし、長期の問題解決を可能にします。 8Bサイズのモデルとして、WebExplorer-8Bは、RLトレーニング後の平均16ターンを効果的に探索することができる。
  論文  参考訳（メタデータ） (2025-09-08T10:07:03Z)
• WideSearch: Benchmarking Agentic Broad Info-Seeking [26.110175228335894]
  大規模コレクションタスクにおいてエージェントの信頼性を評価するために設計された新しいベンチマークであるWideSearchを紹介する。 ベンチマークでは、実際のユーザクエリに基づいて、15以上のさまざまなドメインから200の質問を手作業でキュレートする。 我々は、シングルエージェント、マルチエージェントフレームワーク、エンドツーエンドの商用システムを含む、10以上の最先端のエージェント検索システムをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-11T14:03:09Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• MMATH: A Multilingual Benchmark for Mathematical Reasoning [94.05289799605957]
  MMATHは10言語にまたがる374の高品質な数学問題にまたがる多言語複雑推論のためのベンチマークである。 我々は、DeepSeek R1のような先進モデルでさえ、言語間での大幅な性能格差を示し、意図しない言語において重要な目標外問題発生応答に悩まされていることを観察する。 本研究は,大規模言語モデルの多言語推論能力向上のための新たな洞察と実践的戦略を提供する。
  論文  参考訳（メタデータ） (2025-05-25T12:47:39Z)
• Bactrainus: Optimizing Large Language Models for Multi-hop Complex Question Answering Tasks [5.439505575097552]
  本研究では,HotpotQAデータセットを用いて,大規模言語モデルのドメイン固有タスク実行能力を評価する。 このタスクは、これらのモデルの言語理解能力を評価するための挑戦的なベンチマークとなる。 その結果,これらの手法と大規模言語モデルを統合することで,F1スコアの最大4%の改善が期待できることがわかった。
  論文  参考訳（メタデータ） (2025-01-10T18:44:06Z)
• Level-Navi Agent: A Framework and benchmark for Chinese Web Search Agents [9.003325286793288]
  人間の言語を理解するために採用された大規模言語モデル(LLM)は、人工知能(AI)ウェブサーチエージェントの開発を促進する。 本稿では、レベル認識ナビゲーションによる汎用的かつトレーニング不要なWeb検索エージェントであるLevel-Navi Agentについて、十分な注釈付きデータセット(Web24)と適切な評価基準を伴って提案する。
  論文  参考訳（メタデータ） (2024-12-20T08:03:12Z)
• Multi-hop Evidence Pursuit Meets the Web: Team Papelo at FEVER 2024 [1.3923460621808879]
  大規模言語モデル(LLM)の推論能力と,現代の検索エンジンの検索能力を組み合わせることで,この処理を自動化できることが示されている。 マルチホップエビデンス追跡戦略の下で,LSMと検索を統合した。 提案システムでは,開発セットで.510 AVeriTeC,テストセットで.477 AVeriTeCを達成した。
  論文  参考訳（メタデータ） (2024-11-08T18:25:06Z)
• INQUIRE: A Natural World Text-to-Image Retrieval Benchmark [51.823709631153946]
  InQUIREは、専門家レベルのクエリにおけるマルチモーダル視覚言語モデルに挑戦するために設計されたテキスト・ツー・イメージ検索ベンチマークである。 InQUIREには、iNaturalist 2024(iNat24)、500万の自然界の画像の新しいデータセット、250のエキスパートレベルの検索クエリが含まれている。 InQUIRE-Fullrank,完全なデータセットランキングタスク,INQUIRE-Rerank,トップ100検索の精算タスクの2つの中核検索タスクを評価した。
  論文  参考訳（メタデータ） (2024-11-04T19:16:53Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning [67.26776442697184]
  我々はHuskyを紹介した。Huskyは総合的でオープンソースの言語エージェントで、統一されたアクション空間について推論することを学ぶ。 ハスキーは、(1)与えられたタスクを解決するために次のアクションを生成すること、2)エキスパートモデルを使用してアクションを実行すること、の2つの段階を繰り返す。 実験の結果,Huskyは14の評価データセットで先行言語エージェントよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-10T17:07:25Z)
• LINGOLY: A Benchmark of Olympiad-Level Linguistic Reasoning Puzzles in Low-Resource and Extinct Languages [8.754506364968394]
  LingOlyベンチマークは、大規模言語モデルにおける高度な推論能力のための新しいベンチマークである。 非常に低リソースまたは絶滅した言語における言語パターンの文脈内同定と一般化の能力を評価する。 直接精度と非文脈ベースラインとの比較により,暗記を暗記する性能を評価する。
  論文  参考訳（メタデータ） (2024-06-10T11:50:29Z)
• LMentry: A Language Model Benchmark of Elementary Language Tasks [39.71352171304755]
  LMentryは、人間にとって自明なタスクのコンパクトなセットに焦点を当てたベンチマークである。 大きな言語モデルの能力と堅牢性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。