論文の概要: LifePlanner: Evaluating LLM Agents for Geo-spatial Planning with Social Media Data
- arxiv url: http://arxiv.org/abs/2608.25039v1
- Date: Tue, 25 Aug 2026 18:28:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.411658
- Title: LifePlanner: Evaluating LLM Agents for Geo-spatial Planning with Social Media Data
- Title(参考訳): LifePlanner:ソーシャルメディアデータを用いた地理空間計画のためのLLMエージェントの評価
- Abstract要約: 大規模なローカルソーシャルメディア投稿で地図データを充実させるベンチマークであるLifePlannerを紹介した。
LifePlannerは4つのタスクカテゴリと3つの困難レベルにまたがる評価スイートを提供する。
実験では、フロンティアLSMは単純な検索では良好に機能するが、複雑な計画では著しく低下する。
- 参考スコア(独自算出の注目度): 12.731421145976187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geo-spatial planning, like trip design, is a realistic testbed for LLM agents because it requires grounded tool use, noisy evidence retrieval, and multi-constraint reasoning. Most benchmarks, however, only provide clean geospatial data and tools, missing the open-ended social signals that people use in daily planning. We introduce LifePlanner, a benchmark that enriches map data with large-scale local social media posts and provides access through an MCP toolset. LifePlanner provides an evaluation suite spanning four task categories and three difficulty levels. Experiments show frontier LLMs perform well on simple retrieval but degrade sharply on complex planning, with the Pass Rate dropping to 40.2%. Results show that failures mainly stem from incomplete evidence acquisition from such a large multimodal database, imprecise tool use, and weak constraint integration rather than model size or reasoning length, suggesting that future progress requires effective grounded planning instead of scaling alone.
- Abstract(参考訳): 地空間計画(Geo-Spatial Planning)は、旅行設計と同様に、グラウンドドツールの使用、ノイズの多いエビデンス検索、マルチ制約推論を必要とするため、LLMエージェントの現実的なテストベッドである。
しかし、ほとんどのベンチマークは地理空間のデータとツールのみを提供しており、人々が日々の計画で使用するオープンなソーシャルシグナルを欠いている。
大規模なローカルソーシャルメディア投稿で地図データを強化し,MPPツールセットを通じてアクセスを提供するベンチマークであるLifePlannerを紹介した。
LifePlannerは4つのタスクカテゴリと3つの困難レベルにまたがる評価スイートを提供する。
実験では、フロンティアのLSMは単純な検索ではうまく機能するが、複雑な計画では著しく低下し、パスレートは40.2%に低下した。
その結果,大規模なマルチモーダルデータベースからの不完全な証拠取得,不正確なツール使用,モデルサイズや推論長よりも制約の弱い統合が主な原因であることが示唆された。
関連論文リスト
- PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems [59.730861364166174]
PlanBench-XLは、327の小売タスクを1,665以上のツールでインタラクティブにベンチマークする。
エージェントが使用可能なツールを反復的に検索できるかどうかをテストし、最終目標に対するその後の呼び出しの中間的証拠を明らかにするためにそれらを呼び出す。
論文 参考訳(メタデータ) (2026-06-21T08:29:12Z) - PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models [52.48858778580074]
計画は大規模言語モデル(LLM)の基本的な機能である
PlanningBenchは、評価とトレーニングの両方のためのスケーラブルで多様な検証可能な計画データを生成するためのフレームワークである。
論文 参考訳(メタデータ) (2026-05-20T08:10:15Z) - Do Agents Need to Plan Step-by-Step? Rethinking Planning Horizon in Data-Centric Tool Calling [18.782893288656044]
LLMベースのエージェントは複雑なデータ中心のタスクを解決する。
既存の戦略は,(1)実行前に完全な計画を生成するフルホライズン(FH)と,(2)段階的推論と観察を伴う各アクション(ツールコール)をインターリーブするシングルステップ水平化(SH)の2つのパラダイムに分類される。
論文 参考訳(メタデータ) (2026-05-08T20:51:42Z) - GNNVerifier: Graph-based Verifier for LLM Task Planning [26.77252346424261]
大規模言語モデル(LLM)は、自律エージェントの開発を促進する。
近年の研究では、潜在的な欠陥を特定し、修正するための計画検証器が導入されている。
既存のほとんどのアプローチは、検証子として LLM に依存している。
LLMタスク計画のためのグラフベースの検証器を提案する。
論文 参考訳(メタデータ) (2026-03-16T02:05:21Z) - Scale-Plan: Scalable Language-Enabled Task Planning for Heterogeneous Multi-Robot Teams [11.964765256346857]
不均質なマルチロボットシステムのための長期タスクプランニングは、実環境における協調チームの配置に不可欠である。
自然言語命令からタスク関連問題表現をコンパクトに生成する,スケーラブルなLLM支援フレームワークであるScale-Planを提案する。
計画に先立って無関係な情報をフィルタリングすることにより、スケールプランは効率的な分解、割り当て、長期計画生成を可能にします。
論文 参考訳(メタデータ) (2026-03-09T18:13:18Z) - ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。
我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。
分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
論文 参考訳(メタデータ) (2025-05-29T17:59:38Z) - ET-Plan-Bench: Embodied Task-level Planning Benchmark Towards Spatial-Temporal Cognition with Foundation Models [38.89166693142495]
ET-Plan-Benchは、Large Language Models (LLMs) を用いたタスク計画の具体化のためのベンチマークである。
様々な難易度や複雑さのレベルにおいて、制御可能で多様な実施タスクが特徴である。
我々のベンチマークでは、大規模で定量化され、高度に自動化され、きめ細かな診断フレームワークとして認識されている。
論文 参考訳(メタデータ) (2024-10-02T19:56:38Z) - NATURAL PLAN: Benchmarking LLMs on Natural Language Planning [109.73382347588417]
本稿では,3つのタスク – トリップ計画,ミーティング計画,カレンダースケジューリング – を含む,自然言語の現実的な計画ベンチマークであるNATURAL PLANを紹介する。
我々は、Google Flights、Google Maps、Google Calendarなどのツールからの出力を、モデルに対するコンテキストとして提供することによって、タスクに関する完全な情報を備えたLCMの計画能力に焦点をあてる。
論文 参考訳(メタデータ) (2024-06-06T21:27:35Z) - Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。
Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-10-12T17:59:50Z) - Embodied Task Planning with Large Language Models [86.63533340293361]
本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。
推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。
実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
論文 参考訳(メタデータ) (2023-07-04T17:58:25Z) - AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。
本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。
幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文 参考訳(メタデータ) (2023-05-26T05:52:27Z) - LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large
Language Models [27.318186938382233]
本研究では,大規模言語モデル(LLM)を具体化エージェントのプランナーとして用いることに焦点を当てた。
そこで本研究では,大規模言語モデルのパワーを活かして少数ショットプランニングを行う新しい手法 LLM-Planner を提案する。
論文 参考訳(メタデータ) (2022-12-08T05:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。