論文の概要: How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities

• arxiv url: http://arxiv.org/abs/2502.18387v1
• Date: Tue, 25 Feb 2025 17:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:39.926362
• Title: How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities
• Title（参考訳）: LLMはリアルサーチからどのくらい遠いか? 効率性、完全性、継承能力に関する総合的研究
• Authors: Minhua Lin, Hui Liu, Xianfeng Tang, Jingying Zeng, Zhenwei Dai, Chen Luo, Zheng Li, Xiang Zhang, Qi He, Suhang Wang,
• Abstract要約: 本稿では,Large Language Models (LLMs) を有効かつ効率的な検索に活用するフレームワークとして,SeaL(Search via Learning)を提案する。 SeaLは、従来のアプローチと比較して、検索スペースを最大99.1%削減しながらほぼ完璧な精度を実現している。 解析の結果,現在のLLMは複雑な問題において効率的な探索に苦しむ一方で,体系的な探索戦略を取り入れることで,問題解決能力が著しく向上していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 36.83416452604334
• License:
• Abstract: Search plays a fundamental role in problem-solving across various domains, with most real-world decision-making problems being solvable through systematic search. Drawing inspiration from recent discussions on search and learning, we systematically explore the complementary relationship between search and Large Language Models (LLMs) from three perspectives. First, we analyze how learning can enhance search efficiency and propose Search via Learning (SeaL), a framework that leverages LLMs for effective and efficient search. Second, we further extend SeaL to SeaL-C to ensure rigorous completeness during search. Our evaluation across three real-world planning tasks demonstrates that SeaL achieves near-perfect accuracy while reducing search spaces by up to 99.1% compared to traditional approaches. Finally, we explore how far LLMs are from real search by investigating whether they can develop search capabilities independently. Our analysis reveals that while current LLMs struggle with efficient search in complex problems, incorporating systematic search strategies significantly enhances their problem-solving capabilities. These findings not only validate the effectiveness of our approach but also highlight the need for improving LLMs' search abilities for real-world applications.
• Abstract（参考訳）: 探索は様々な領域にわたる問題解決において基本的な役割を担い、現実世界の意思決定問題は体系的な探索によって解決可能である。 検索と学習に関する最近の議論からインスピレーションを得て,3つの視点から検索と大規模言語モデル(LLM)の相補的関係を体系的に検討した。 まず,学習が探索効率を向上させる方法について分析し,LLMを有効かつ効率的な探索に活用するフレームワークであるSeaLを提案する。 第2に,シーLをSeaL-Cに拡張することで,探索時の厳密な完全性を確保する。 実世界の3つの計画課題に対する評価は、SeaLが従来の手法に比べて検索スペースを最大99.1%削減し、ほぼ完璧な精度を達成していることを示している。 最後に,LLMが実際の検索からどこまで遠いのかを,単独で検索機能を開発することができるかを検討する。 解析の結果,現在のLLMは複雑な問題において効率的な探索に苦しむ一方で,体系的な探索戦略を取り入れることで,問題解決能力が著しく向上していることが明らかとなった。 これらの結果は,本手法の有効性を検証するだけでなく,実世界のアプリケーションにおけるLLMの検索能力の向上の必要性も浮き彫りにしている。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
  本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
  論文  参考訳（メタデータ） (2024-06-28T03:52:13Z)
• Reinforcement Learning Problem Solving with Large Language Models [0.0]
  大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。 これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。 研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
  論文  参考訳（メタデータ） (2024-04-29T12:16:08Z)
• Thought of Search: Planning with Language Models Through The Lens of Efficiency [22.47015814897628]
  我々は近年の傾向が非効率性のために健全性と完全性の両方を放棄していると論じる。 本研究では,LLMを用いて検索コンポーネントのコードを生成することにより,全データセットを100%精度で解けることを示す。
  論文  参考訳（メタデータ） (2024-04-18T01:27:29Z)
• Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
  大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。 本稿では,文献レビューと手動実験を通じてその可能性について考察する。
  論文  参考訳（メタデータ） (2024-04-09T15:53:06Z)
• Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
  我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。 全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。 提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
  論文  参考訳（メタデータ） (2023-10-23T05:52:09Z)
• Hybrid Search for Efficient Planning with Completeness Guarantees [63.02803974708516]
  本稿では,離散的な行動空間における完全性を実現するために,部分ゴール探索法を効果的に拡張する手法を提案する。 このソリューションは、高レベルの探索の実践的効率と低レベルの探索の完全性という、両方の世界のベストを達成している。
  論文  参考訳（メタデータ） (2023-10-19T15:16:43Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。