論文の概要: LLM-based Query Expansion Fails for Unfamiliar and Ambiguous Queries

• arxiv url: http://arxiv.org/abs/2505.12694v1
• Date: Mon, 19 May 2025 04:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.404323
• Title: LLM-based Query Expansion Fails for Unfamiliar and Ambiguous Queries
• Title（参考訳）: LLMに基づく不慣れで曖昧なクエリに対するクエリ拡張障害
• Authors: Kenya Abe, Kunihiro Takeoka, Makoto P. Kato, Masafumi Oyamada,
• Abstract要約: 大規模言語モデル(LLM)は、従来のルールベースおよび統計手法に代わる効果的な代替手段を提供する。 大規模言語モデル(LLM)は、従来のルールベースおよび統計手法に代わる効果的な代替手段を提供する。
• 参考スコア（独自算出の注目度）: 5.561044064438963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query expansion (QE) enhances retrieval by incorporating relevant terms, with large language models (LLMs) offering an effective alternative to traditional rule-based and statistical methods. However, LLM-based QE suffers from a fundamental limitation: it often fails to generate relevant knowledge, degrading search performance. Prior studies have focused on hallucination, yet its underlying cause--LLM knowledge deficiencies--remains underexplored. This paper systematically examines two failure cases in LLM-based QE: (1) when the LLM lacks query knowledge, leading to incorrect expansions, and (2) when the query is ambiguous, causing biased refinements that narrow search coverage. We conduct controlled experiments across multiple datasets, evaluating the effects of knowledge and query ambiguity on retrieval performance using sparse and dense retrieval models. Our results reveal that LLM-based QE can significantly degrade the retrieval effectiveness when knowledge in the LLM is insufficient or query ambiguity is high. We introduce a framework for evaluating QE under these conditions, providing insights into the limitations of LLM-based retrieval augmentation.
• Abstract（参考訳）: クエリ拡張(QE)は、関連する用語を組み込んで検索を強化し、従来のルールベースの統計手法に代わる効果的な言語モデル(LLM)を提供する。 しかし、LLMベースのQEは基本的な制限に悩まされており、検索性能を低下させ、関連する知識を生成できないことが多い。 これまでの研究は幻覚に焦点を当ててきたが、その根底にある原因-LLMの知識不足-は未発見のまま残されている。 本稿では,LLMベースのQEにおける2つの障害事例を体系的に検討し,(1)LLMがクエリ知識を欠いている場合,(2)クエリが不明確で検索範囲が狭い場合,その2つの障害事例について考察する。 複数のデータセットにまたがる制御実験を行い、スパースモデルと高密度検索モデルを用いて、知識とクエリのあいまいさが検索性能に与える影響を評価する。 その結果,LLMの知識不足やクエリのあいまいさが高い場合,LLMベースのQEは検索効率を著しく低下させることができることがわかった。 これらの条件下でのQE評価のためのフレームワークを導入し,LLMに基づく検索拡張の限界について考察する。

関連論文リスト

• Rethinking the Unsolvable: When In-Context Search Meets Test-Time Scaling [1.219841051166348]
  本稿では,テキスト内検索とテスト時間スケーリングの併用の可能性について検討する。 内部スケーリングを付加したLLMに高度なコンテキスト内探索プロンプトを付加することにより、変換性能のブレークスルーを実現することができる。
  論文  参考訳（メタデータ） (2025-05-28T12:28:18Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
  因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。 因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2024-04-09T14:40:08Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。