論文の概要: Explaining When PRF Fails: Participatory Auditing for Selective Query Expansion

• arxiv url: http://arxiv.org/abs/2607.12098v1
• Date: Mon, 13 Jul 2026 19:14:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.941136
• Title: Explaining When PRF Fails: Participatory Auditing for Selective Query Expansion
• Title（参考訳）: PRFが機能しない場合の説明:選択的なクエリ拡張のための参加型監査
• Abstract要約: 我々は、IRの中核的な説明可能性問題であり、2段階の監査テーマ自動フレームワークを提案する。 ステージ1では、43のTREC Deep Learning 2019クエリで108人のユーザによる参加型監査が行われ、PRFの恩恵は20.9%に過ぎなかった。 ステージ2では、LLMをベースとしたリランカをシステム優先予測器として再利用し、ユーザ由来のラベルを自動的に複製する。
• 参考スコア（独自算出の注目度）: 12.057593449543477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo-Relevance Feedback (PRF) improves retrieval effectiveness on average, but harms a substantial fraction of queries through query drift, an asymmetry hidden by aggregate offline metrics. Existing Selective PRF (sPRF) approaches typically rely on Query Performance Prediction (QPP) methods derived from the same ranking statistics, and therefore inherit, rather than resolve, this opacity. We argue that this is a core explainability problem in IR, and propose a two-stage audit-then-automate framework. In Stage 1, a participatory audit with 108 users across 43 TREC Deep Learning 2019 queries shows that only 20.9% of queries benefit from PRF, while 25.6% suffer a degraded user experience, and that avoiding harm is nearly twice as valuable as exploiting successful expansion. In Stage 2, we repurpose LLM-based rerankers as system preference predictors that replicate these user-derived labels automatically, grounded in inspectable document evidence. Together, the two stages explain which queries PRF harms, why an sPRF decision is made, and how the decision can be inspected at scale, turning an opaque retrieval component into an auditable, user-grounded one.
• Abstract（参考訳）: Pseudo-Relevance Feedback (PRF) は、平均的な検索効率を改善するが、クエリドリフトによってかなりの数のクエリにダメージを与える。 既存の選択的PRF(sPRF)アプローチは、通常、同じランキング統計から派生したクエリパフォーマンス予測(QPP)メソッドに依存しているため、この不透明さを解消するのではなく、継承する。 我々は、IRの中核的な説明可能性問題であり、2段階の監査テーマ自動フレームワークを提案する。 ステージ1では、43のTREC Deep Learning 2019クエリで108人のユーザが参加する参加オーディションでは、PRFの恩恵はクエリの20.9%に過ぎなかった。 ステージ2では,LLMをベースとしたリランカをシステム優先予測器として再利用し,これらのユーザ由来ラベルを自動複製し,検査可能な文書証拠を根拠とする。 これら2つのステージは、どのクエリPRFが害するか、なぜsPRF決定が下されるのか、どのようにして意思決定を大規模に検査するかを説明し、不透明な検索コンポーネントを監査可能なユーザグラウンドのコンポーネントに変換する。

関連論文リスト

• SurrogateShield: Beyond Redaction for High-Utility, Privacy-Preserving LLM Interactions [0.0]
  プレースホルダーのリアクションは、意味的コヒーレンスを犠牲にしてPIIを抑制する。 本稿では,検出されたPIIを局所的に生成した型一貫性のサロゲート値に置換するクライアントサイドプロキシであるSurrogateShieldを提案する。 実際のPIIがネットワーク境界を越えることはない。
  論文  参考訳（メタデータ） (2026-06-28T19:14:16Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Uncertainty Quantification for Retrieval-Augmented Reasoning [40.43455995861054]
  Retrieval-augmented reasoning (RAR)は、検索と生成に複数の推論ステップを用いる検索強化世代(RAG)の最近の進化である。 不確実性定量化(Uncertainty Quantification、UQ)は、システムの出力の信頼性を推定する方法を提供する。 本稿では,RARの新しいUQ手法であるRetrieval-Augmented Reasoning(R2C)を紹介する。
  論文  参考訳（メタデータ） (2025-10-13T14:55:28Z)
• PAIRS: Parametric-Verified Adaptive Information Retrieval and Selection for Efficient RAG [14.631028226704883]
  我々はPAIRS(Parametric-verified Adaptive Information Retrieval and Selection)を紹介する。 PAIRSはパラメトリックと検索された知識を統合して、検索するかどうか、外部情報を選択すべきかを適応的に決定する。 PAIRSは検索コストを約25%削減し(クエリの75%しか処理しない)、精度を+1.1% EMと+1.0% F1に改善した。
  論文  参考訳（メタデータ） (2025-08-06T03:33:01Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• CONFLARE: CONFormal LArge language model REtrieval [0.0]
  Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。 本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T02:58:21Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。