論文の概要: RePCS: Diagnosing Data Memorization in LLM-Powered Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2506.15513v1
• Date: Wed, 18 Jun 2025 14:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.699801
• Title: RePCS: Diagnosing Data Memorization in LLM-Powered Retrieval-Augmented Generation
• Title（参考訳）: RePCS:LLMを用いた検索拡張生成におけるデータメモリ化の診断
• Authors: Le Vu Anh, Nguyen Viet Anh, Mehmet Dik, Luong Van Nghia,
• Abstract要約: モデルは依然として記憶されたトレーニングデータに依存し、得られた証拠をバイパスし、汚染された出力を生成する。 RePCS(Retrieval-Path Contamination Scoring)は,モデルアクセスや再トレーニングを必要とせずに,そのような動作を検出する診断手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) has become a common strategy for updating large language model (LLM) responses with current, external information. However, models may still rely on memorized training data, bypass the retrieved evidence, and produce contaminated outputs. We introduce Retrieval-Path Contamination Scoring (RePCS), a diagnostic method that detects such behavior without requiring model access or retraining. RePCS compares two inference paths: (i) a parametric path using only the query, and (ii) a retrieval-augmented path using both the query and retrieved context by computing the Kullback-Leibler (KL) divergence between their output distributions. A low divergence suggests that the retrieved context had minimal impact, indicating potential memorization. This procedure is model-agnostic, requires no gradient or internal state access, and adds only a single additional forward pass. We further derive PAC-style guarantees that link the KL threshold to user-defined false positive and false negative rates. On the Prompt-WNQA benchmark, RePCS achieves a ROC-AUC of 0.918. This result outperforms the strongest prior method by 6.5 percentage points while keeping latency overhead below 4.7% on an NVIDIA T4 GPU. RePCS offers a lightweight, black-box safeguard to verify whether a RAG system meaningfully leverages retrieval, making it especially valuable in safety-critical applications.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、現在、外部情報と共に大きな言語モデル(LLM)応答を更新する一般的な戦略となっている。 しかし、モデルは依然として記憶されたトレーニングデータに依存し、得られた証拠をバイパスし、汚染された出力を生成する。 RePCS(Retrieval-Path Contamination Scoring)は,モデルアクセスや再トレーニングを必要とせずに,そのような動作を検出する診断手法である。 RePCSは2つの推論パスを比較します。 (i)クエリのみを用いたパラメトリックパス、及び (2)KL(Kullback-Leibler)の出力分布の分散を計算し,クエリと検索コンテキストの両方を用いた検索拡張パスを提案する。 低い発散は、抽出された文脈が最小限の影響を受け、潜在的な記憶の可能性が示唆されたことを示唆している。 このプロシージャはモデルに依存しず、グラデーションや内部の状態アクセスを必要とせず、追加のフォワードパスを1つ追加するだけでよい。 さらに、KL閾値をユーザ定義の偽陰性率と偽陰性率にリンクするPACスタイルの保証を導出する。 Prompt-WNQAベンチマークでは、RePCSのROC-AUCは0.918である。 この結果は、NVIDIA T4 GPUのレイテンシオーバーヘッドを4.7%以下に抑えながら、最強の先行手法を6.5ポイント向上させる。 RePCSは、RAGシステムが検索を有意義に活用しているかどうかを検証するための、軽量でブラックボックスのセーフガードを提供する。

関連論文リスト

• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• SkipVAR: Accelerating Visual Autoregressive Modeling via Adaptive Frequency-Aware Skipping [30.85025293160079]
  生成プロセスにおける高周波コンポーネント、または後続のステップは、推論遅延に不均等に寄与する。 ステップ冗長性と非条件分岐冗長性の2つの主要な非効率性の原因を同定する。 本稿では、不要な生成ステップを選択的に省略して効率を向上させる自動ステップスキッピング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-10T15:35:29Z)
• GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning [20.112448377660854]
  我々は,訓練可能なモデルに頼ることなく,情報的メモリサンプルを蒸留するための軽量な戦略であるGrid-based Patch Smpling (GPS)を紹介した。 GPSは、元の画像から画素のサブセットをサンプリングして情報的サンプルを生成し、コンパクトな低解像度表現を生成する。 GPSは既存のリプレイフレームワークにシームレスに統合できるため、メモリ制限された設定下での平均終了精度が3%-4%向上する。
  論文  参考訳（メタデータ） (2025-04-14T16:58:02Z)
• Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression [28.828318027398815]
  非負のカーネル回帰に基づくOOD検出のためのソフトクラスタリング手法を提案する。 提案手法は計算と空間の複雑さを大幅に減らし(推論時間の最大11倍改善とストレージ要求の87%削減)、4つのベンチマークで最大4つのAUROCポイントを上回ります。
  論文  参考訳（メタデータ） (2024-07-18T03:57:08Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
  Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。 情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。 本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:05:14Z)
• Offline RL with No OOD Actions: In-Sample Learning via Implicit Value Regularization [90.9780151608281]
  インサンプルラーニング(IQL)は、データサンプルのみを使用して、定量的回帰によってポリシーを改善する。 サンプル内学習のパラダイムがtextitImplicit Value Regularization (IVR) フレームワークの下で生まれることを確認する。 Sparse $Q$-learning (EQL)とExponential $Q$-learning (EQL)の2つの実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-28T08:30:01Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。