論文の概要: Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents
- arxiv url: http://arxiv.org/abs/2606.27595v1
- Date: Thu, 25 Jun 2026 22:51:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.324012
- Title: Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents
- Title（参考訳）: Ko-WideSearch:Webエージェントによる排他的セット列挙のための韓国のBreadth-Searchベンチマーク
- Abstract要約: 金のセットが完成し、すべてのセルが正しいことを証明することは、1つの答えをチェックするよりもはるかにコストがかかる。
textscKo-WideSearchは、自動合成および検証パイプラインによって構築された韓国のパンス検索ベンチマークです。
- 参考スコア（独自算出の注目度）: 2.3677513428867614
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce \textsc{Ko-WideSearch}, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.
- Abstract（参考訳）: ウェブエージェントのベンチマークは、厳密さを圧倒的に測定し、制約の連鎖の背後にある不明瞭な答えを1つ特定する。
金のセットが完成し、すべてのセルが正しいことを証明することは、1つの答えをチェックするよりもはるかにコストがかかる。
私は、自動合成および検証パイプラインによって構築された韓国のパンス検索ベンチマークである \textsc{Ko-WideSearch} を紹介します。
各タスクは、テレビシーズン、王朝、リーグ、行政地域、選挙といったセットペアのエンティティを指定し、アイテム-、カラム-、ロウ-F1でランク付けされた、全メンバーシップと属性テーブルを要求する。
190以上のエンティティと16のカテゴリが3つの困難層にまたがって228のテーブルにまたがっており、テーブル幅と2-D複合キーの2つの構造ノブが独立して設定されている。
単一正規化対応コンパレータは金の構成とグレーディングの間で共有されるので、安定な日付とカウント列はフォーマットのみにオーバードロップされない。
エージェントは集合を回復するが行を回復しない(e g \ Item-F1 92.8 対 Row-F1 53.7)。
オープンエンドのフリーテキストセルはたいてい失敗するが、日付や名前などの標準回答を持つセルは通常正しく出てくる。
関連論文リスト
- Iris: Climbing to the Search Frontier [21.066541702697112]
我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
論文 参考訳（メタデータ） (2026-09-03T17:51:01Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。
このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
論文 参考訳（メタデータ） (2026-08-10T16:59:30Z) - Search, Inspect, Fetch: Exploiting Structure-Aware Boolean Retrieval for Deep-Research Agents [50.35041517085015]
既存のDeep-ResearchエージェントはSearch-Visitワークフローを使用して、タイトル、見出し、セクション、メタデータを通じて公開する構造を考慮せずに、Webページ全体を検索する。
Boolean Query Language (BQL) によって駆動される検索-インスペクション-フェッチ戦略である textscSieve を導入する。
ウェブページのフィールドを検索して候補をフィルタリングし、インターチェンジ可能なランク付け器を使ってそれらを注文し、構造に富んだ結果カードを検査し、選択したセクションのみを取得する。
論文 参考訳（メタデータ） (2026-08-03T18:01:05Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - From Item-Only to Query-Item: Query-Conditioned Generative Search with QGS in Quark [8.408261237886899]
生成シーケンスモデルは推奨に強い結果を示している。
それらを検索ランキングに適用することは、もっと難しい。
本稿では,QGS(Query-Conditioned Generative Search)を提案する。
論文 参考訳（メタデータ） (2026-05-25T07:18:51Z) - Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction [38.55682016152131]
textbfWeb2BigTableはWebツーテーブル検索のためのマルチエージェントフレームワークである。
Web2BigTableは、WideSearchの新たな最先端をセットし、Avg@4 Success Rate of textbf38.50$7.5times$ second at 5.10、Row F1 of textbf63.53 (+25.03 over second best)、Item F1 of textbf80.12 (+14.42 over second best)に到達した。
また、XBench の深度指向探索にも一般化する。
論文 参考訳（メタデータ） (2026-04-29T21:43:16Z) - MoDora: Tree-Based Semi-Structured Document Analysis System [62.01015188258797]
半構造化文書は、様々な不規則なレイアウトで配置された様々なインターリーブされたデータ要素を統合する。
MoDora は半構造化文書解析のための LLM を利用したシステムである。
実験では、MoDoraは5.97%-61.07%の精度でベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-26T14:48:49Z) - Aggregation Queries over Unstructured Text: Benchmark and Agentic Method [20.80318496130298]
我々は、厳密な完全性を必要とするコーパス境界設定において、テキスト上のエンティティレベルアグリゲーションを形式化する。
AGGBenchは、現実的な大規模コーパスの下で完全性指向のアグリゲーションを評価するために設計されたベンチマークである。
DFAはモジュール型のエージェントベースラインで、集約クエリを解釈可能なステージに分解する。
論文 参考訳（メタデータ） (2026-02-01T17:49:33Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳（メタデータ） (2026-01-29T17:52:54Z) - UniRec-0.1B: Unified Text and Formula Recognition with 0.1B Parameters [55.34921520578968]
視覚言語モデル(VLM)は、テキストと公式の統一的な認識を実現している。
パラメータが0.1Bしか持たない統一認識モデルUniRec-0.1Bを提案する。
文字、単語、行、段落、文書など、複数のレベルでテキストや公式の認識を行うことができる。
論文 参考訳（メタデータ） (2025-12-24T10:35:21Z) - SQuARE: Structured Query & Adaptive Retrieval Engine For Tabular Formats [0.0]
SQuAREはシートレベルの複雑なルーティングを備えたハイブリッド検索フレームワークである。
ヘッダの深さとマージ密度に基づいて連続的なスコアを計算する。
SQuAREは、検索精度とエンドツーエンドの回答精度の両方において、シングルストラテジーベースラインとChatGPT-4oを一貫して上回る。
論文 参考訳（メタデータ） (2025-12-03T22:11:45Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳（メタデータ） (2020-10-20T16:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。