論文の概要: A Systematic Study of Pseudo-Relevance Feedback with LLMs

• arxiv url: http://arxiv.org/abs/2603.11008v1
• Date: Wed, 11 Mar 2026 17:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:33.083437
• Title: A Systematic Study of Pseudo-Relevance Feedback with LLMs
• Title（参考訳）: LLMを用いた擬似関連フィードバックの系統的研究
• Abstract要約: 大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)は、2つの重要な設計次元に沿って構成できる。 制御実験により,フィードバック源の選択とフィードバックモデルの選択がPRFの有効性に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 49.53124785319461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo-relevance feedback (PRF) methods built on large language models (LLMs) can be organized along two key design dimensions: the feedback source, which is where the feedback text is derived from and the feedback model, which is how the given feedback text is used to refine the query representation. However, the independent role that each dimension plays is unclear, as both are often entangled in empirical evaluations. In this paper, we address this gap by systematically studying how the choice of feedback source and feedback model impact PRF effectiveness through controlled experimentation. Across 13 low-resource BEIR tasks with five LLM PRF methods, our results show: (1) the choice of feedback model can play a critical role in PRF effectiveness; (2) feedback derived solely from LLM-generated text provides the most cost-effective solution; and (3) feedback derived from the corpus is most beneficial when utilizing candidate documents from a strong first-stage retriever. Together, our findings provide a better understanding of which elements in the PRF design space are most important.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)手法は、フィードバックテキストが派生したフィードバックソースと、与えられたフィードバックテキストを用いてクエリ表現を洗練させるフィードバックモデルという2つの重要な設計次元に沿って構成することができる。 しかし、それぞれの次元が果たす独立した役割ははっきりしない。 本稿では,フィードバック源の選択とフィードバックモデルの選択が,制御実験を通してPRFの有効性にどのように影響するかを体系的に検討することによって,このギャップに対処する。 LLM PRF法を用いて低リソースのBEIRタスク13件を対象に,(1)PRFの有効性においてフィードバックモデルの選択が重要な役割を担うこと,(2)LLM生成テキストのみからのフィードバックが最もコスト効率の良いソリューションを提供すること,(3)強力な第1段検索者からの候補文書を利用する場合,コーパスからのフィードバックが最も有用であることを示す。 PRF設計領域のどの要素が最も重要であるのかをよりよく理解する上で,本研究の成果が有用である。

関連論文リスト

• Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines [3.4020399898813145]
  イントロダクティブプログラミングにおけるオープンエンドの短解問題に対するフィードバックに焦点をあてる。 我々は,フィードバックの質を評価するために,教育文献を基盤とした5基準ルーブリックを開発した。
  論文  参考訳（メタデータ） (2026-08-22T08:48:53Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。