論文の概要: When Search Engine Services meet Large Language Models: Visions and Challenges

• arxiv url: http://arxiv.org/abs/2407.00128v1
• Date: Fri, 28 Jun 2024 03:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:20:13.822011
• Title: When Search Engine Services meet Large Language Models: Visions and Challenges
• Title（参考訳）: 検索エンジンサービスが大規模言語モデルに合うとき:ビジョンと課題
• Authors: Haoyi Xiong, Jiang Bian, Yuchen Li, Xuhong Li, Mengnan Du, Shuaiqiang Wang, Dawei Yin, Sumi Helal,
• Abstract要約: 本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
• 参考スコア（独自算出の注目度）: 53.32948540004658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining Large Language Models (LLMs) with search engine services marks a significant shift in the field of services computing, opening up new possibilities to enhance how we search for and retrieve information, understand content, and interact with internet services. This paper conducts an in-depth examination of how integrating LLMs with search engines can mutually benefit both technologies. We focus on two main areas: using search engines to improve LLMs (Search4LLM) and enhancing search engine functions using LLMs (LLM4Search). For Search4LLM, we investigate how search engines can provide diverse high-quality datasets for pre-training of LLMs, how they can use the most relevant documents to help LLMs learn to answer queries more accurately, how training LLMs with Learning-To-Rank (LTR) tasks can enhance their ability to respond with greater precision, and how incorporating recent search results can make LLM-generated content more accurate and current. In terms of LLM4Search, we examine how LLMs can be used to summarize content for better indexing by search engines, improve query outcomes through optimization, enhance the ranking of search results by analyzing document relevance, and help in annotating data for learning-to-rank tasks in various learning contexts. However, this promising integration comes with its challenges, which include addressing potential biases and ethical issues in training models, managing the computational and other costs of incorporating LLMs into search services, and continuously updating LLM training with the ever-changing web content. We discuss these challenges and chart out required research directions to address them. We also discuss broader implications for service computing, such as scalability, privacy concerns, and the need to adapt search engine architectures for these advanced models.
• Abstract（参考訳）: 大規模言語モデル(LLM)と検索エンジンサービスを組み合わせることは、サービスコンピューティング分野における大きな変化であり、情報検索や検索方法、コンテンツ理解、インターネットサービスとの対話の方法を強化する新たな可能性を開く。 本稿では,LLMを検索エンジンに組み込むことによって,両技術が相互に有効であるかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。 検索4LLMでは、検索エンジンがLLMの事前学習のための多様な高品質なデータセットをどのように提供できるか、LLMがクエリーをより正確に答えるために最も関連性の高いドキュメントをどのように利用できるか、Learning-To-Rank(LTR)タスクによるLLMのトレーニングが、より精度の高い応答能力を向上し、最近の検索結果を組み込むことによって、LLM生成コンテンツをより正確かつ現在のものにする方法を検討する。 LLM4Searchでは,検索エンジンによるより良い索引付けのためのコンテンツ要約,最適化によるクエリ結果の改善,文書関連性の分析による検索結果のランク付けの強化,各種学習文脈における学習タスクのアノテート支援などについて検討する。 しかし、この有望な統合は、トレーニングモデルにおける潜在的なバイアスや倫理的な問題に対処すること、LLMを検索サービスに組み込む際の計算やその他のコストの管理、絶えず変化するWebコンテンツでLLMトレーニングを継続的に更新することなど、その課題を伴っている。 これらの課題を議論し、それらに取り組むために必要な研究の方向性をまとめる。 また,スケーラビリティやプライバシの懸念,高度なモデルに検索エンジンアーキテクチャを適用する必要性など,サービスコンピューティングに対する広範な影響についても論じる。

関連論文リスト

• LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models [9.566432486156335]
  検索エンジンにおける後処理のための大規模言語モデル(LLM4PR) 検索エンジン(LLM4PR)におけるポストランキングのための大規模言語モデル(Large Language Models for Post-Ranking)という新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-11-02T08:36:16Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
  我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。 我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-06-07T15:23:53Z)
• Analyzing LLM Usage in an Advanced Computing Class in India [4.580708389528142]
  本研究では,大規模言語モデル(LLM)を,大学院生や大学院生が高度なコンピューティングクラスにおけるプログラミング課題に活用することを検討した。 インド大学の分散システムクラスから411名の学生を対象に,総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-04-06T12:06:56Z)
• Enhanced Facet Generation with LLM Editing [5.4327243200369555]
  情報検索においては,ユーザクエリのファセット識別が重要な課題である。 従来の研究は,検索によって得られた検索文書や関連クエリを活用することで,ファセット予測を強化することができる。 しかし、検索エンジンがモデルの一部として動作する場合、他のアプリケーションに拡張することは困難である。
  論文  参考訳（メタデータ） (2024-03-25T00:43:44Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs [19.0797968186656]
  大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。 以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-09-06T15:55:01Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。