論文の概要: ATLAS-Bench: An Agentic Tool-Use Benchmark for Local Area Search

• arxiv url: http://arxiv.org/abs/2610.39438v1
• Date: Thu, 29 Oct 2026 06:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.049929
• Title: ATLAS-Bench: An Agentic Tool-Use Benchmark for Local Area Search
• Title（参考訳）: ATLAS-Bench: 地域検索のためのエージェントツール使用ベンチマーク
• Abstract要約: ATLAS-Benchは3つのリージョンにわたる1200のクエリのベンチマークである。 各クエリは、必須要件を優先事項と事実条件と主観的判断とを区別する。 また,検索ツールと定点知識ベースを備えた標準化された評価環境であるATLASBoxについても紹介する。
• 参考スコア（独自算出の注目度）: 11.683436248379472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable local search is essential for LLM agents to support everyday decisions and longer plans by finding places that meet users' needs at given times and locations. Yet existing benchmarks provide limited coverage of whether search results satisfy mandatory requirements, account for preferences, and ground factual and experiential judgments in place attributes and reviews. We introduce ATLAS-Bench, a benchmark of 1,200 queries across three regions, expanded from real search events using place attributes, reviews, and existing user profiles from the platform. Each query distinguishes mandatory requirements from preferences and factual conditions from subjective judgments, with supporting evidence and criteria for checking each requirement. Queries are validated through iterative assertion checks and cross-model review. We also introduce ATLASBox, a standardized evaluation environment with search tools and a fixed point-of-interest (POI) knowledge base. Given a query, timestamp, and location, an agent searches place attributes and reviews to recommend evidence-supported options or report that no place meets all mandatory requirements. We evaluate answer quality, trajectory quality, and execution cost. Across 14 configurations of 11 models, GPT-6-Luna achieves the highest constraint satisfaction rate among returned recommendations (71.5%) and factual accuracy (95.6%). However, it returns at least one acceptable recommendation for fewer satisfiable queries than GLM-5.3 (67.3% versus 85.3%). These results highlight the challenge of satisfying individual requirements while providing usable recommendations across queries.
• Abstract（参考訳）: LLMエージェントにとって信頼性の高いローカルサーチは、特定の時間や場所におけるユーザの要求を満たす場所を見つけることによって、日々の意思決定と長期計画を支援するために不可欠である。 しかし、既存のベンチマークでは、検索結果が必須要件を満たすかどうか、優先事項の説明、そして場所属性とレビューにおける根拠的事実および経験的判断を限定的にカバーしている。 我々は,3つの領域にわたる1200のクエリのベンチマークであるATLAS-Benchを紹介した。 それぞれのクエリは、必須要件を優先事項と事実条件と主観的な判断とを区別し、各要件をチェックするための証拠と基準を支持する。 クエリは反復的なアサーションチェックとクロスモデルレビューを通じて検証される。 また,検索ツールを用いた標準化された評価環境であるATLASBoxと,POI知識ベースについても紹介する。 クエリ、タイムスタンプ、ロケーションが与えられた場合、エージェントは属性を検索し、エビデンスをサポートするオプションを推奨したり、必須の要件をすべて満たさないことを報告したりする。 回答の質,軌道の質,実行コストを評価した。 GPT-6-ルナは11種類のモデルで14種類構成されており、リターンされたレコメンデーション(71.5%)と実際の精度(95.6%)の中で最も制約満足度が高い。 しかし、GLM-5.3 (67.3%対85.3%) よりも満足できるクエリの少ないクエリに対して、少なくとも1つの許容可能なレコメンデーションが返される。 これらの結果は、クエリにまたがって有用なレコメンデーションを提供しながら、個々の要求を満たすという課題を強調している。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When Should LLMs Search? Counterfactual Supervision for Search Routing [0.04144015562528761]
  本研究は,非探索実行に対して,タスク成功を改善するために検索が必要であるかどうかを検討する。 タスク固有の成功に基づいてNO SEARCH,SEARCH,UNSOLVED上のオラクルを構築する。 我々は、教師付き微調整と選好最適化による検索ルーチンポリシーを訓練する。
  論文  参考訳（メタデータ） (2026-07-07T02:23:12Z)
• DEEPRUBRIC: Evidence-Tree Rubric Supervision for Efficient Reinforcement Learning of Deep Research Agents [17.420077157633852]
  報奨に基づく強化学習は、レポート品質を報奨信号に変換するチェック可能な基準に最適化することにより、ディープリサーチエージェントを改善する。 既存の研究の多くは、LLMに与えられたクエリに対してルーリックを生成するよう求めているが、モデルが基盤となる情報要求を推測できない場合、生成されたルーリックは不完全であり、RL効率を低下させる可能性がある。 より信頼性の高いクエリ-ルーブリックの監視を得るために、このプロセスを逆転するデータ構築フレームワークであるDeepRubricを紹介します。
  論文  参考訳（メタデータ） (2026-06-15T17:52:27Z)
• HotelQuEST: Balancing Quality and Efficiency in Agentic Search [6.1626572270420334]
  エージェント検索は,大規模言語モデル(LLM)を利用した適応検索システムにおいて,有望なパラダイムとして登場した。 ホテルクエスト(HotelQuEST)は、214のホテル検索クエリからなるベンチマークで、単純な事実要求から複雑なクエリまで様々である。 LLMをベースとしたエージェントは,従来のレトリバーよりも精度が高いが,冗長なツールコールや準最適ルーティングによるコストが著しく高いことがわかった。
  論文  参考訳（メタデータ） (2026-02-27T11:50:57Z)
• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models [10.883552856100684]
  韓国のオンラインコミュニティから,実世界の653の視覚的質問のベンチマークであるHAERAE-Visionを紹介した。 最先端モデル (GPT-5, Gemini 2.5 Pro) でさえも、元のクエリでは50%以下であることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T02:33:03Z)
• EvalAgent: Discovering Implicit Evaluation Criteria from the Web [82.82096383262068]
  EvalAgentは、ニュアンスとタスク固有の基準を自動的に発見するように設計されたフレームワークである。 EvalAgentは、さまざまな長期評価基準を提案するために、専門家が作成したオンラインガイダンスをマイニングしている。 我々の実験では、EvalAgentが生み出す基準は暗黙的だが具体的であることが示されている。
  論文  参考訳（メタデータ） (2025-04-21T16:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。