論文の概要: How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities

• arxiv url: http://arxiv.org/abs/2502.18387v2
• Date: Wed, 26 Feb 2025 06:40:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 13:11:30.974701
• Title: How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities
• Title（参考訳）: LLMはリアルサーチからどのくらい遠いか? 効率性、完全性、継承能力に関する総合的研究
• Authors: Minhua Lin, Hui Liu, Xianfeng Tang, Jingying Zeng, Zhenwei Dai, Chen Luo, Zheng Li, Xiang Zhang, Qi He, Suhang Wang,
• Abstract要約: 本稿では,Large Language Models (LLMs) を有効かつ効率的な検索に活用するフレームワークとして,SeaL(Search via Learning)を提案する。 SeaLは、従来のアプローチと比較して、検索スペースを最大99.1%削減しながらほぼ完璧な精度を実現している。 解析の結果,現在のLLMは複雑な問題において効率的な探索に苦しむ一方で,体系的な探索戦略を取り入れることで,問題解決能力が著しく向上していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 36.83416452604334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search plays a fundamental role in problem-solving across various domains, with most real-world decision-making problems being solvable through systematic search. Drawing inspiration from recent discussions on search and learning, we systematically explore the complementary relationship between search and Large Language Models (LLMs) from three perspectives. First, we analyze how learning can enhance search efficiency and propose Search via Learning (SeaL), a framework that leverages LLMs for effective and efficient search. Second, we further extend SeaL to SeaL-C to ensure rigorous completeness during search. Our evaluation across three real-world planning tasks demonstrates that SeaL achieves near-perfect accuracy while reducing search spaces by up to 99.1% compared to traditional approaches. Finally, we explore how far LLMs are from real search by investigating whether they can develop search capabilities independently. Our analysis reveals that while current LLMs struggle with efficient search in complex problems, incorporating systematic search strategies significantly enhances their problem-solving capabilities. These findings not only validate the effectiveness of our approach but also highlight the need for improving LLMs' search abilities for real-world applications.
• Abstract（参考訳）: 探索は様々な領域にわたる問題解決において基本的な役割を担い、現実世界の意思決定問題は体系的な探索によって解決可能である。 検索と学習に関する最近の議論からインスピレーションを得て,3つの視点から検索と大規模言語モデル(LLM)の相補的関係を体系的に検討した。 まず,学習が探索効率を向上させる方法について分析し,LLMを有効かつ効率的な探索に活用するフレームワークであるSeaLを提案する。 第2に,シーLをSeaL-Cに拡張することで,探索時の厳密な完全性を確保する。 実世界の3つの計画課題に対する評価は、SeaLが従来の手法に比べて検索スペースを最大99.1%削減し、ほぼ完璧な精度を達成していることを示している。 最後に,LLMが実際の検索からどこまで遠いのかを,単独で検索機能を開発することができるかを検討する。 解析の結果,現在のLLMは複雑な問題において効率的な探索に苦しむ一方で,体系的な探索戦略を取り入れることで,問題解決能力が著しく向上していることが明らかとなった。 これらの結果は,本手法の有効性を検証するだけでなく,実世界のアプリケーションにおけるLLMの検索能力の向上の必要性も浮き彫りにしている。

関連論文リスト

• Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [50.419872452397684]
  Search-R1は推論フレームワークのための強化学習の拡張である。 リアルタイム検索とステップバイステップ推論の間に検索クエリを生成する。 性能は41%(Qwen2.5-7B)、20%(Qwen2.5-3B)で改善されている。
  論文  参考訳（メタデータ） (2025-03-12T16:26:39Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
  本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
  論文  参考訳（メタデータ） (2024-06-28T03:52:13Z)
• Reinforcement Learning Problem Solving with Large Language Models [0.0]
  大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。 これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。 研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
  論文  参考訳（メタデータ） (2024-04-29T12:16:08Z)
• Thought of Search: Planning with Language Models Through The Lens of Efficiency [22.47015814897628]
  我々は近年の傾向が非効率性のために健全性と完全性の両方を放棄していると論じる。 本研究では,LLMを用いて検索コンポーネントのコードを生成することにより,全データセットを100%精度で解けることを示す。
  論文  参考訳（メタデータ） (2024-04-18T01:27:29Z)
• Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
  大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。 本稿では,文献レビューと手動実験を通じてその可能性について考察する。
  論文  参考訳（メタデータ） (2024-04-09T15:53:06Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Hybrid Search for Efficient Planning with Completeness Guarantees [63.02803974708516]
  本稿では,離散的な行動空間における完全性を実現するために,部分ゴール探索法を効果的に拡張する手法を提案する。 このソリューションは、高レベルの探索の実践的効率と低レベルの探索の完全性という、両方の世界のベストを達成している。
  論文  参考訳（メタデータ） (2023-10-19T15:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。