論文の概要: ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning

• arxiv url: http://arxiv.org/abs/2412.13682v2
• Date: Fri, 20 Dec 2024 15:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 18:46:08.588465
• Title: ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning
• Title（参考訳）: ChinaTravel:中国旅行計画における言語エージェントのリアルタイムベンチマーク
• Authors: Jie-Jing Shao, Xiao-Wen Yang, Bo-Wen Zhang, Baizhi Chen, Wen-Da Wei, Guohao Cai, Zhenhua Dong, Lan-Zhe Guo, Yu-feng Li,
• Abstract要約: ChinaTravelは、中国の旅行計画シナリオに特化して設計されたベンチマークである。 質問紙から旅行要求を収集し,構成的に一般化可能なドメイン特化言語を提案する。 実証研究により、旅行計画における神経象徴薬の可能性を明らかにし、27.9%の制約満足度を達成した。 我々は、オープン言語推論や未確認概念構成など、現実世界の旅行計画展開における重要な課題を特定します。
• 参考スコア（独自算出の注目度）: 50.7898120693695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in LLMs, particularly in language reasoning and tool integration, have rapidly sparked the real-world development of Language Agents. Among these, travel planning represents a prominent domain, combining academic challenges with practical value due to its complexity and market demand. However, existing benchmarks fail to reflect the diverse, real-world requirements crucial for deployment. To address this gap, we introduce ChinaTravel, a benchmark specifically designed for authentic Chinese travel planning scenarios. We collect the travel requirements from questionnaires and propose a compositionally generalizable domain-specific language that enables a scalable evaluation process, covering feasibility, constraint satisfaction, and preference comparison. Empirical studies reveal the potential of neuro-symbolic agents in travel planning, achieving a constraint satisfaction rate of 27.9%, significantly surpassing purely neural models at 2.6%. Moreover, we identify key challenges in real-world travel planning deployments, including open language reasoning and unseen concept composition. These findings highlight the significance of ChinaTravel as a pivotal milestone for advancing language agents in complex, real-world planning scenarios.
• Abstract（参考訳）: LLMの最近の進歩、特に言語推論とツール統合は、Language Agentsの現実的な開発を急速に引き起こした。 これらのうち、旅行計画は、その複雑さと市場の需要のために、学術的な課題と実践的な価値を組み合わせた、顕著な領域である。 しかし、既存のベンチマークは、デプロイに不可欠な多様な現実世界の要件を反映していない。 このギャップに対処するため、中国旅行計画シナリオの特定に特化したベンチマークであるChinaTravelを紹介した。 質問紙から旅行要求を収集し、拡張性、制約満足度、嗜好比較をカバーし、スケーラブルな評価プロセスを可能にする構成的一般化可能なドメイン特化言語を提案する。 実験的研究により、旅行計画における神経象徴的エージェントの可能性を明らかにし、27.9%の制約満足度を達成し、2.6%の純神経モデルを大幅に上回っている。 さらに,オープン言語推論や未確認概念構成など,実世界の旅行計画展開における重要な課題を明らかにした。 これらの知見は、複雑な実世界の計画シナリオにおいて、言語エージェントを前進させるための重要なマイルストーンとして、ChinaTravelの重要性を強調している。

関連論文リスト

• TP-RAG: Benchmarking Retrieval-Augmented Large Language Model Agents for Spatiotemporal-Aware Travel Planning [39.934634038758404]
  本稿では,検索用時間RAG対応旅行計画の最初のベンチマークであるTP-RAGを紹介する。 我々のデータセットには、2,348の現実世界の旅行クエリ、85,575の微粒なPOI、18,784の注釈付きPOIが含まれている。
  論文  参考訳（メタデータ） (2025-04-11T17:02:40Z)
• TripCraft: A Benchmark for Spatio-Temporally Fine Grained Travel Planning [7.841787597078323]
  TripCraft は LLM によるパーソナライズされた旅行計画のための,新たなベンチマークを確立している。 パラメータ情報設定は食事スケジューリングを著しく向上させ、7日間のシナリオでは時間的食事スコアが61%から80%に向上する。
  論文  参考訳（メタデータ） (2025-02-27T20:33:28Z)
• EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios [53.26658545922884]
  EgoPlan-Bench2は,MLLMの計画能力を評価するためのベンチマークである。 我々は,21の競争的MLLMを評価し,その限界を詳細に分析した結果,実世界の計画において大きな課題に直面していることが明らかとなった。 EgoPlan-Bench2におけるGPT-4Vの10.24倍の性能向上を図る。
  論文  参考訳（メタデータ） (2024-12-05T18:57:23Z)
• To the Globe (TTG): Towards Language-Driven Guaranteed Travel Planning [54.9340658451129]
  To the Globe(TTG)は、ユーザから自然言語要求を受け取り、それをシンボリックフォームに変換するリアルタイムのデモシステムである。 システム全体の応答に5秒を要し、保証されたイテナリでユーザ要求に応答する。 ユーザによる評価では、TTGは生成した繰り返しで35-40%のネットプロモータースコア(NPS)を一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-21T19:30:05Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools [12.875270710153021]
  大規模言語モデル(LLM)は、複雑なマルチ制約計画問題に対して、直接的に正しい計画を生成するのに苦慮している。 制約付き満足度問題として複雑なマルチ制約計画問題を定式化し,解決する LLM ベースの計画フレームワークを提案する。 我々のフレームワークは、2つのデータセットから、平均81.6%と91.7%の満足できないクエリを修正および解決できることを示します。
  論文  参考訳（メタデータ） (2024-04-18T04:36:37Z)
• TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
  我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。 豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。 包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
  論文  参考訳（メタデータ） (2024-02-02T18:39:51Z)
• DREAMWALKER: Mental Planning for Continuous Vision-Language Navigation [107.5934592892763]
  本稿では,世界モデルに基づくVLN-CEエージェントDREAMWALKERを提案する。 世界モデルは、複雑な連続環境の視覚的、位相的、動的特性を要約するために構築される。 コストのかかるアクションを実行する前に、そのような抽象的な世界で可能な計画を完全にシミュレートし、評価することができる。
  論文  参考訳（メタデータ） (2023-08-14T23:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。