論文の概要: A Systematic Study of Pseudo-Relevance Feedback with LLMs

• arxiv url: http://arxiv.org/abs/2603.11008v1
• Date: Wed, 11 Mar 2026 17:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:33.083437
• Title: A Systematic Study of Pseudo-Relevance Feedback with LLMs
• Title（参考訳）: LLMを用いた擬似関連フィードバックの系統的研究
• Authors: Nour Jedidi, Jimmy Lin,
• Abstract要約: 大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)は、2つの重要な設計次元に沿って構成できる。 制御実験により,フィードバック源の選択とフィードバックモデルの選択がPRFの有効性に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 49.53124785319461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo-relevance feedback (PRF) methods built on large language models (LLMs) can be organized along two key design dimensions: the feedback source, which is where the feedback text is derived from and the feedback model, which is how the given feedback text is used to refine the query representation. However, the independent role that each dimension plays is unclear, as both are often entangled in empirical evaluations. In this paper, we address this gap by systematically studying how the choice of feedback source and feedback model impact PRF effectiveness through controlled experimentation. Across 13 low-resource BEIR tasks with five LLM PRF methods, our results show: (1) the choice of feedback model can play a critical role in PRF effectiveness; (2) feedback derived solely from LLM-generated text provides the most cost-effective solution; and (3) feedback derived from the corpus is most beneficial when utilizing candidate documents from a strong first-stage retriever. Together, our findings provide a better understanding of which elements in the PRF design space are most important.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)手法は、フィードバックテキストが派生したフィードバックソースと、与えられたフィードバックテキストを用いてクエリ表現を洗練させるフィードバックモデルという2つの重要な設計次元に沿って構成することができる。 しかし、それぞれの次元が果たす独立した役割ははっきりしない。 本稿では,フィードバック源の選択とフィードバックモデルの選択が,制御実験を通してPRFの有効性にどのように影響するかを体系的に検討することによって,このギャップに対処する。 LLM PRF法を用いて低リソースのBEIRタスク13件を対象に,(1)PRFの有効性においてフィードバックモデルの選択が重要な役割を担うこと,(2)LLM生成テキストのみからのフィードバックが最もコスト効率の良いソリューションを提供すること,(3)強力な第1段検索者からの候補文書を利用する場合,コーパスからのフィードバックが最も有用であることを示す。 PRF設計領域のどの要素が最も重要であるのかをよりよく理解する上で,本研究の成果が有用である。

関連論文リスト

• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。