論文の概要: GroupTravelBench: Benchmarking LLM Agents on Multi-Person Travel Planning

• arxiv url: http://arxiv.org/abs/2605.25200v1
• Date: Sun, 24 May 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.964096
• Title: GroupTravelBench: Benchmarking LLM Agents on Multi-Person Travel Planning
• Title（参考訳）: GroupTravelBench:マルチパーソン旅行計画におけるLLMエージェントのベンチマーク
• Authors: Xiang Cheng, Yulan Hu, Lulu Zheng, Zheng Pan, Xin Li, Yong Liu,
• Abstract要約: textbfGroupTravelBenchは、textbfmulti-user, multi-turn travel planningの最初のベンチマークである。 実際のユーザプロファイル、POIデータ、チケット価格データに基づいて、650のタスクを合成し、3つの難易度に分割する。 我々は広い範囲のLLMを評価し、フロンティアモデルでさえも、好みのカバレッジとグループフェアネスに重大な弱点があることを見出した。
• 参考スコア（独自算出の注目度）: 21.321198339300334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Travel planning is a realistic task for evaluating the planning and tool-use abilities of LLM agents. However, existing benchmarks typically assume only a single user, thereby avoiding one of the most challenging aspects of real-world scenarios: an agent's ability to identify and resolve conflicts among multiple users. To address this gap, we introduce \textbf{GroupTravelBench}, the first benchmark for \textbf{multi-user, multi-turn} travel planning. Based on real user profiles, POI data, and ticket price data, we synthesize 650 tasks and divide them into three difficulty levels. Beyond standard abilities in single-user itinerary planning, such as multi-step reasoning and tool use, our benchmark further evaluates three key capabilities required for travel agents: \emph{(i) elicitation} -- proactively engaging in multi-turn dialogue to gather preferences from each user; \emph{(ii) coordination} -- resolving conflicts among users through compromise or subgrouping strategies; and \emph{(iii) planning} -- searching for travel plans that maximize overall group utility while maintaining fairness and feasibility. To simulate real-world conversational itinerary planning while enabling reliable tool use and offline evaluation, we build an interactive sandbox environment with cached real-world tool data. We evaluate a wide range of LLMs and find that even frontier models still show substantial weaknesses in preference coverage and group fairness. \textit{GroupTravelBench} provides a practical and reproducible benchmark for advancing research on LLM agents for real-world travel planning.
• Abstract（参考訳）: 旅行計画は LLM エージェントの計画とツール利用能力を評価するための現実的なタスクである。 しかしながら、既存のベンチマークは通常、単一のユーザしか想定しないため、現実のシナリオにおける最も困難な側面の1つ、エージェントが複数のユーザ間の衝突を識別し解決する能力を避けることができる。 このギャップに対処するため, 旅行計画のための最初のベンチマークである \textbf{GroupTravelBench} を導入する。 実際のユーザプロファイル、POIデータ、チケット価格データに基づいて、650のタスクを合成し、3つの難易度に分割する。 マルチステップ推論やツール使用などの単一ユーザ反復計画における標準的な能力に加えて、我々のベンチマークでは旅行エージェントに必要な3つの重要な機能についても評価している。 (i)elicitation} -- ユーザの好みを収集するマルチターン対話に積極的に関与する。 (ii)コーディネーション -- 妥協戦略やサブグループ戦略を通じてユーザ間の紛争を解決する。 三 計画 -- 公正性及び実現可能性を維持しつつ、グループ全体の実用性を最大化する旅行計画を求める。 信頼性の高いツール使用とオフライン評価を実現しつつ,現実の対話型反復計画のシミュレーションを行うため,実世界のツールデータをキャッシュした対話型サンドボックス環境を構築した。 我々は広い範囲のLLMを評価し、フロンティアモデルでさえも、好みのカバレッジとグループフェアネスに重大な弱点があることを見出した。 \textit{GroupTravelBench} は実世界の旅行計画のための LLM エージェントの研究を進めるための実用的で再現可能なベンチマークを提供する。

関連論文リスト

• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• TravelBench: A Broader Real-World Benchmark for Multi-Turn and Tool-Using Travel Planning [22.3041021610283]
  旅行計画は、大規模言語モデル(LLM)計画とツール使用能力をテストするための自然な現実的なタスクである。 TravelBenchは、完全な現実世界の旅行計画のベンチマークである。
  論文  参考訳（メタデータ） (2025-12-27T18:25:14Z)
• COMPASS: A Multi-Turn Benchmark for Tool-Mediated Planning & Preference Optimization [47.26757420020116]
  本稿では,現実的な旅行計画シナリオにおけるエージェントの評価を行うベンチマークを提案する。 我々は、20の国立公園の交通、宿泊、チケット販売を網羅する現実的な旅行データベースを構築している。 i) エージェントが制約を確実に満たすが、選好を最適化できない、(ii) 計画調整のギャップ、(ii) マルチサービス(フライトとホテル)の調整タスクのパフォーマンスが崩壊する、という2つの重要なギャップを明らかにする。
  論文  参考訳（メタデータ） (2025-10-08T14:09:46Z)
• RMTBench: Benchmarking LLMs Through Multi-Turn User-Centric Role-Playing [133.0641538589466]
  RMTBenchは、80の多様な文字と8000以上の対話ラウンドを特徴とする、総合的なテキストバプサー中心のバイリンガルロールプレイングベンチマークである。 本ベンチマークでは,文字記述よりも明示的なユーザモチベーションに基づく対話を構築し,実用的なユーザアプリケーションとの整合性を確保する。 RMTBenchは、キャラクタバックグラウンドからユーザ意図のフルフィルメントにフォーカスを移すことで、学術的な評価と実践的なデプロイメント要件のギャップを埋める。
  論文  参考訳（メタデータ） (2025-07-27T16:49:47Z)
• Wide-Horizon Thinking and Simulation-Based Evaluation for Real-World LLM Planning with Multifaceted Constraints [39.01715254437105]
  本稿では,多面制約による計画課題を解決するための多面計画(MAoP)について紹介する。 MAoPは直接計画するのではなく、ストラテジストを活用して、さまざまな側面から事前計画を行い、プランナーのための計画青写真を提供する。
  論文  参考訳（メタデータ） (2025-06-14T09:37:59Z)
• EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios [53.26658545922884]
  EgoPlan-Bench2は,MLLMの計画能力を評価するためのベンチマークである。 我々は,21の競争的MLLMを評価し,その限界を詳細に分析した結果,実世界の計画において大きな課題に直面していることが明らかとなった。 EgoPlan-Bench2におけるGPT-4Vの10.24倍の性能向上を図る。
  論文  参考訳（メタデータ） (2024-12-05T18:57:23Z)
• TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners [6.378824981027464]
  伝統的なアプローチは、与えられた形式言語における問題定式化に依存している。 最近のLarge Language Model (LLM) ベースのアプローチは、言語を使用してユーザリクエストから計画を直接出力する。 LLMと自動プランナの強度を組み合わせたハイブリッド手法TRIP-PALを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。