論文の概要: TripScore: Benchmarking and rewarding real-world travel planning with fine-grained evaluation

• arxiv url: http://arxiv.org/abs/2510.09011v3
• Date: Thu, 16 Oct 2025 07:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 14:17:28.077504
• Title: TripScore: Benchmarking and rewarding real-world travel planning with fine-grained evaluation
• Title（参考訳）: TripScore: 詳細な評価による現実世界の旅行計画のベンチマークと報奨
• Authors: Yincen Qu, Huan Xiao, Feng Li, Gregory Li, Hui Zhou, Xiangying Dai, Xiaoru Dai,
• Abstract要約: 我々は、詳細な基準を1つの報酬に統一する旅行計画のための総合的なベンチマークを導入する。 我々の評価器は旅行専門家のアノテーション(60.75%)と適度に一致した。 ユーザ意図を一般化するための219のリアルタイムなフリーフォーム要求を含む,4,870の大規模クエリデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 4.831964966659024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Travel planning is a valuable yet complex task that poses significant challenges even for advanced large language models (LLMs). While recent benchmarks have advanced in evaluating LLMs' planning capabilities, they often fall short in evaluating feasibility, reliability, and engagement of travel plans. We introduce a comprehensive benchmark for travel planning that unifies fine-grained criteria into a single reward, enabling direct comparison of plan quality and seamless integration with reinforcement learning (RL). Our evaluator achieves moderate agreement with travel-expert annotations (60.75%) and outperforms multiple LLM-as-judge baselines. We further release a large-scale dataset of 4,870 queries including 219 real-world, free-form requests for generalization to authentic user intent. Using this benchmark, we conduct extensive experiments across diverse methods and LLMs, including test-time computation, neuro-symbolic approaches, supervised fine-tuning, and RL via GRPO. Across base models, RL generally improves itinerary feasibility over prompt-only and supervised baselines, yielding higher unified reward scores.
• Abstract（参考訳）: 旅行計画は価値あるが複雑な作業であり、先進的な大規模言語モデル(LLM)にも大きな課題をもたらす。 最近のベンチマークではLSMの計画能力の評価が進んでいるが、多くの場合、実現可能性、信頼性、旅行計画の関与を評価するには不十分である。 本稿では,詳細な基準を1つの報酬に統一し,計画品質の直接比較と強化学習(RL)とのシームレスな統合を可能にする旅行計画のための総合的ベンチマークを提案する。 評価器は旅行経験アノテーション(60.75%)と適度に一致し、複数のLCM-as-judgeベースラインを上回ります。 さらに,ユーザ意図を一般化するための219のリアルタイムなフリーフォーム要求を含む,4,870の大規模クエリデータセットをリリースする。 このベンチマークを用いて、テスト時間計算、ニューロシンボリックアプローチ、教師付き微調整、GRPOによるRLなど、様々な手法とLLMの広範な実験を行う。 ベースモデル全体では、RLは一般にプロンプトのみのベースラインと教師付きベースラインよりも反復可能性を改善し、より高い統一的な報酬スコアを得る。

関連論文リスト

• MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
  ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。 我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。 トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
  論文  参考訳（メタデータ） (2025-10-09T17:53:58Z)
• ATLAS: Constraints-Aware Multi-Agent Collaboration for Real-World Travel Planning [53.065247112514534]
  ATLASは、現実世界の旅行計画タスクにおける制約意識の複雑な性質を扱うために設計された汎用マルチエージェントフレームワークである。 我々はTravelPlannerベンチマークで最先端のパフォーマンスを示し、最終パスレートを23.3%から44.4%に改善した。
  論文  参考訳（メタデータ） (2025-09-29T23:23:52Z)
• TripTailor: A Real-World Benchmark for Personalized Travel Planning [28.965273870656446]
  TripTailorは、現実世界のシナリオでパーソナライズされた旅行計画のためのベンチマークである。 このデータセットには、50,000以上の現実世界の関心点(POI)と4000近い多様な旅行イテナリーが含まれている。 旅行計画において、実現可能性、合理性、パーソナライズされたカスタマイズなど、いくつかの重要な課題を特定します。
  論文  参考訳（メタデータ） (2025-08-02T16:44:02Z)
• Plan Your Travel and Travel with Your Plan: Wide-Horizon Planning and Evaluation via LLM [58.50687282180444]
  旅行計画は、多様な現実世界の情報とユーザの好みを統合する必要がある複雑な作業である。 我々はこれをL3$プランニング問題として定式化し、長いコンテキスト、長い命令、長い出力を強調する。 計画の多面的側面 (MAoP) を導入し, LLM が複雑な計画問題の解決のために広義の思考を行えるようにした。
  論文  参考訳（メタデータ） (2025-06-14T09:37:59Z)
• TP-RAG: Benchmarking Retrieval-Augmented Large Language Model Agents for Spatiotemporal-Aware Travel Planning [39.934634038758404]
  本稿では,検索用時間RAG対応旅行計画の最初のベンチマークであるTP-RAGを紹介する。 我々のデータセットには、2,348の現実世界の旅行クエリ、85,575の微粒なPOI、18,784の注釈付きPOIが含まれている。
  論文  参考訳（メタデータ） (2025-04-11T17:02:40Z)
• TripCraft: A Benchmark for Spatio-Temporally Fine Grained Travel Planning [7.841787597078323]
  TripCraft は LLM によるパーソナライズされた旅行計画のための,新たなベンチマークを確立している。 パラメータ情報設定は食事スケジューリングを著しく向上させ、7日間のシナリオでは時間的食事スコアが61%から80%に向上する。
  論文  参考訳（メタデータ） (2025-02-27T20:33:28Z)
• ChinaTravel: An Open-Ended Benchmark for Language Agents in Chinese Travel Planning [38.44879526364259]
  emph ChinaTravelは、中国旅行の真の要件に基づいた初のオープンエンドベンチマークです。 本研究では,拡張性評価,実現可能性,制約満足度,嗜好比較を網羅する,構成的に一般化可能なドメイン固有言語を設計する。 経験的研究により、旅行計画における神経象徴的エージェントの可能性を明らかにし、人間のクエリに対する37.0%の制約満足度を達成する。
  論文  参考訳（メタデータ） (2024-12-18T10:10:12Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models [14.108788704400643]
  GroundCocoa(グラウンドココア)は、これらの推論スキルをフライト予約の現実的な問題に結びつける、語彙的に多様なベンチマークである。 私たちのタスクは、詳細なユーザの好みと、複数の選択形式で提示される利用可能なフライトオプションを整合させることです。 GPT-4 Turboは, 先進的なプロンプト技術にもかかわらず精度が67%を超えなかった。
  論文  参考訳（メタデータ） (2024-04-05T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。