論文の概要: TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
- arxiv url: http://arxiv.org/abs/2607.26977v1
- Date: Wed, 29 Jul 2026 14:35:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.703342
- Title: TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
- Title（参考訳）: TREK:複合トリップ計画におけるLCMエージェントのトラベル推論と評価キット
- Abstract要約: 本稿では,TREK (Travel Reasoning Evaluation Kit) について紹介する。
TREKは800のマルチ制約タスク - 533が実現可能で、267が型付き/エンタリティ/予算的原因で実行不可能である。
完全に再現可能なベンチマークとして、データセット、ツールサンドボックス評価器、エージェントコードをリリースします。
- 参考スコア（独自算出の注目度）: 40.69228585271066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Travel planning is a demanding stress test for tool-using LLM agents: a usable itinerary is a single artifact that must be right along many axes at once - every flight, hotel, and attraction must exist and be bookable, the days must be physically traversable, the total must clear a budget, and the plan must serve a traveler whose needs are only partly stated. Existing agent benchmarks reward these properties one at a time and grade the final output with soft or LLM-judged rubrics, which cannot certify that a returned plan is executable and are neither reproducible nor auditable. We introduce TREK (Travel Reasoning and Evaluation Kit), a benchmark for feasible itinerary synthesis: producing a single plan that is jointly constraint-correct, hallucination-free, spatio-temporally executable, budget-valid, and responsive to the traveler's unstated persona needs. TREK comprises 800 multi-constraint tasks - 533 feasible and 267 provably infeasible with typed route/entity/budget causes - over a synthetic, internally consistent knowledge base of 212,530 records across 375 cities and 13 personas, served through a production-style tool sandbox of validated RESTful APIs. Every task is scored by a fully deterministic, rule-based evaluator with no LLM judge and ships a human-verified gold reference that scores a perfect 1.0 under that same evaluator, so the ceiling is demonstrably achievable and every remaining gap is an agent limitation rather than scorer strictness. Evaluating 15 LLM agents across nine constraint dimensions, we find that even the strongest (GPT-5.6) produces a fully-feasible plan on only 46.2% of solvable tasks, with a median of 6.6% and a floor of 0.0%; satisfying travelers' unstated needs emerges as the universal bottleneck, unsolved even at the frontier. We release the dataset, tool sandbox, deterministic evaluator, and agent code as a fully reproducible benchmark.
- Abstract（参考訳）: 旅行計画(Travel Planning)は、ツールを使用するLLMエージェントの要求されたストレステストである。 使用可能なイテナリーは、一度に複数の軸に沿っていなければならない単一のアーティファクトであり、すべてのフライト、ホテル、アトラクションが存在し、予約可能でなければならない。
既存のエージェントベンチマークは、これらの特性を1回に1回評価し、最終的な出力を軟式またはLCM処理したルーリックで評価するが、これは返却されたプランが実行可能であり、再現可能でも監査可能でもないことを証明できない。
本稿では,TREK(Travel Reasoning and Evaluation Kit)という,現実的な反復合成のためのベンチマークを紹介した。
TREKは800のマルチ制約タスク – 533の実行可能なタスクと267の型付きルート/エンタリティ/バジェット原因 – を,375都市と13のペルソナで212,530レコードの合成的,内部的に一貫した知識ベース上で,検証済みのRESTful APIのプロダクションスタイルのツールサンドボックスを通じて提供する。
全てのタスクは、LLMの審査員がいない完全に決定論的で規則に基づく評価者によって評価され、同じ評価者の下で完璧な1.0をスコアする人間検証金の基準が出荷される。
9つの制約次元にわたる15個のLDMエージェントを評価すると、最強(GPT-5.6)でさえ46.2%の解決可能なタスクで完全に実現可能なプランを作成でき、中央値が6.6%、フロアが0.0%である。
完全に再現可能なベンチマークとして、データセット、ツールサンドボックス、決定論的評価器、エージェントコードをリリースします。
関連論文リスト
- From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems [0.0]
計画誘導制御トラジェクトリを中心に構築されたベンチマークを導入する。
スマートグリッドの需要応答システムにシーケンシャルで階層的で検索エグゼクティブを実装している。
強制探索は5つの基本種子のオラクルであることを示す。
論文 参考訳（メタデータ） (2026-08-04T22:52:21Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。
ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。
ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
論文 参考訳（メタデータ） (2026-03-16T14:05:13Z) - TravelBench: A Broader Real-World Benchmark for Multi-Turn and Tool-Using Travel Planning [22.3041021610283]
旅行計画は、大規模言語モデル(LLM)計画とツール使用能力をテストするための自然な現実的なタスクである。
TravelBenchは、完全な現実世界の旅行計画のベンチマークである。
論文 参考訳（メタデータ） (2025-12-27T18:25:14Z) - TripScore: Benchmarking and rewarding real-world travel planning with fine-grained evaluation [4.831964966659024]
我々は、詳細な基準を1つの報酬に統一する旅行計画のための総合的なベンチマークを導入する。
我々の評価器は旅行専門家のアノテーション(60.75%)と適度に一致した。
ユーザ意図を一般化するための219のリアルタイムなフリーフォーム要求を含む,4,870の大規模クエリデータセットをリリースする。
論文 参考訳（メタデータ） (2025-10-10T05:22:29Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - TripCraft: A Benchmark for Spatio-Temporally Fine Grained Travel Planning [7.841787597078323]
TripCraft は LLM によるパーソナライズされた旅行計画のための,新たなベンチマークを確立している。
パラメータ情報設定は食事スケジューリングを著しく向上させ、7日間のシナリオでは時間的食事スコアが61%から80%に向上する。
論文 参考訳（メタデータ） (2025-02-27T20:33:28Z) - Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools [12.875270710153021]
大規模言語モデル(LLM)は、複雑なマルチ制約計画問題に対して、直接的に正しい計画を生成するのに苦労する。
複雑な多制約計画問題を形式化し,解決する LLM ベースの計画フレームワークを提案する。
我々のフレームワークは93.9%の成功率を達成し、多様なパラフレーズのプロンプトで有効である。
論文 参考訳（メタデータ） (2024-04-18T04:36:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。