論文の概要: GridRoute: A Benchmark for LLM-Based Route Planning with Cardinal Movement in Grid Environments
- arxiv url: http://arxiv.org/abs/2505.24306v1
- Date: Fri, 30 May 2025 07:40:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.834138
- Title: GridRoute: A Benchmark for LLM-Based Route Planning with Cardinal Movement in Grid Environments
- Title(参考訳): GridRoute: グリッド環境における心動を考慮したLCM経路計画のベンチマーク
- Authors: Kechen Li, Yaotian Tao, Ximing Wen, Quanwei Sun, Zifei Gong, Chang Xu, Xizhe Zhang, Tianbo Ji,
- Abstract要約: 大規模言語モデル(LLM)は、計画と推論タスクにおけるその可能性を実証している。
LLMが従来のアルゴリズムをどのように活用できるかを評価するための総合評価ベンチマークGridRouteを提案する。
また,従来のアルゴリズムのプロンプト指導を取り入れた,アルゴリズム・オブ・シント(AoT)と呼ばれる新しいハイブリッドプロンプト手法を提案する。
- 参考スコア(独自算出の注目度): 14.584687937592536
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advancements in Large Language Models (LLMs) have demonstrated their potential in planning and reasoning tasks, offering a flexible alternative to classical pathfinding algorithms. However, most existing studies focus on LLMs' independent reasoning capabilities and overlook the potential synergy between LLMs and traditional algorithms. To fill this gap, we propose a comprehensive evaluation benchmark GridRoute to assess how LLMs can take advantage of traditional algorithms. We also propose a novel hybrid prompting technique called Algorithm of Thought (AoT), which introduces traditional algorithms' guidance into prompting. Our benchmark evaluates six LLMs ranging from 7B to 72B parameters across various map sizes, assessing their performance in correctness, optimality, and efficiency in grid environments with varying sizes. Our results show that AoT significantly boosts performance across all model sizes, particularly in larger or more complex environments, suggesting a promising approach to addressing path planning challenges. Our code is open-sourced at https://github.com/LinChance/GridRoute.
- Abstract(参考訳): 近年のLLM(Large Language Models)の進歩は、従来のパスフィンディングアルゴリズムの柔軟な代替手段として、計画と推論タスクの可能性を実証している。
しかし、既存のほとんどの研究はLLMの独立推論能力に注目し、LLMと従来のアルゴリズムのシナジーの可能性を見落としている。
このギャップを埋めるため,従来のアルゴリズムをLLMがいかに活用できるかを評価するための総合評価ベンチマークGridRouteを提案する。
また,従来のアルゴリズムのプロンプト指導を取り入れた,アルゴリズム・オブ・シント(AoT)と呼ばれる新しいハイブリッドプロンプト手法を提案する。
本ベンチマークでは, 7B から 72B までの 6 つの LLM の評価を行い, その精度, 最適性, 効率を, 異なるサイズで評価した。
以上の結果から,AoTはモデルサイズ,特に大規模あるいは複雑な環境における性能を著しく向上させ,パス計画課題に対処するための有望なアプローチを示唆している。
私たちのコードはhttps://github.com/LinChance/GridRoute.comでオープンソース化されています。
関連論文リスト
- Fitness Landscape of Large Language Model-Assisted Automated Algorithm Search [15.767411435705752]
本稿では,大規模言語モデルを用いたアルゴリズム検索の適応環境を提示し,解析する。
この結果から, LASランドスケープはマルチモーダルで頑丈であることが明らかとなった。
また,人口規模が探索・探索のトレードオフや,エリートアルゴリズムの進化軌跡にどのように影響するかを示す。
論文 参考訳(メタデータ) (2025-04-28T09:52:41Z) - Universal Model Routing for Efficient LLM Inference [72.65083061619752]
我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。
本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。
これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
論文 参考訳(メタデータ) (2025-02-12T20:30:28Z) - When Do LLMs Help With Node Classification? A Comprehensive Analysis [21.120619437937382]
我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。
10のホモ親和性データセット、4つのヘテロ親和性データセット、8つのLLMアルゴリズム、8つの古典的ベースライン、3つの学習パラダイムを含む。
その結果,(1) LLMに基づく手法は, 半教師付き環境では従来手法よりも優れているが, 教師付き環境では優位性が低い, という8つの知見が得られた。
論文 参考訳(メタデータ) (2025-02-02T15:56:05Z) - Meta-Learning Objectives for Preference Optimization [39.15940594751445]
より単純なベンチマークにおいて、選好最適化アルゴリズムの有効性についての洞察を得ることが可能であることを示す。
我々はミラー優先最適化(MPO)と呼ばれるミラー降下に基づく新しいPOアルゴリズム群を提案する。
論文 参考訳(メタデータ) (2024-11-10T19:11:48Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳(メタデータ) (2024-10-03T18:12:29Z) - LLM-A*: Large Language Model Enhanced Incremental Heuristic Search on Path Planning [91.95362946266577]
経路計画はロボット工学と自律航法における基本的な科学的問題である。
A*やその変種のような伝統的なアルゴリズムは、パスの妥当性を保証することができるが、状態空間が大きくなるにつれて、計算とメモリの非効率が著しく低下する。
本稿では, A* の正確なパスフィニング能力と LLM のグローバルな推論能力とを相乗的に組み合わせた LLM ベースの経路計画法を提案する。
このハイブリッドアプローチは、特に大規模シナリオにおいて、パス妥当性の完全性を維持しながら、時間と空間の複雑さの観点からパスフィニング効率を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-06-20T01:24:30Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。
この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-20T22:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。