論文の概要: QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2512.19134v1
• Date: Mon, 22 Dec 2025 08:28:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.670928
• Title: QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation
• Title（参考訳）: QuCo-RAG:動的検索向上のための事前学習コーパスの不確かさの定量化
• Authors: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng,
• Abstract要約: Dynamic Retrieval-Augmented Generationは、大規模言語モデルにおける幻覚への生成時にいつ取得するかを適応的に決定する。 本稿では,主観的信頼度から事前学習データから客観的統計へ移行したQuCo-RAGを提案する。 提案手法は,(1) 生成前, 長い尾の知識ギャップを示す低周波の実体を同定し, (2) 生成中, 学習前コーパスにおけるエンティティ共起を検証し, ゼロ共起が幻覚のリスクを生じさせる。
• 参考スコア（独自算出の注目度）: 14.312693191309101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Retrieval-Augmented Generation adaptively determines when to retrieve during generation to mitigate hallucinations in large language models (LLMs). However, existing methods rely on model-internal signals (e.g., logits, entropy), which are fundamentally unreliable because LLMs are typically ill-calibrated and often exhibit high confidence in erroneous outputs. We propose QuCo-RAG, which shifts from subjective confidence to objective statistics computed from pre-training data. Our method quantifies uncertainty through two stages: (1) before generation, we identify low-frequency entities indicating long-tail knowledge gaps; (2) during generation, we verify entity co-occurrence in the pre-training corpus, where zero co-occurrence often signals hallucination risk. Both stages leverage Infini-gram for millisecond-latency queries over 4 trillion tokens, triggering retrieval when uncertainty is high. Experiments on multi-hop QA benchmarks show QuCo-RAG achieves EM gains of 5--12 points over state-of-the-art baselines with OLMo-2 models, and transfers effectively to models with undisclosed pre-training data (Llama, Qwen, GPT), improving EM by up to 14 points. Domain generalization on biomedical QA further validates the robustness of our paradigm. These results establish corpus-grounded verification as a principled, practically model-agnostic paradigm for dynamic RAG. Our code is publicly available at https://github.com/ZhishanQ/QuCo-RAG.
• Abstract（参考訳）: Dynamic Retrieval-Augmented Generationは、大規模言語モデル(LLM)における幻覚を緩和するために、生成中にいつ取得するかを適応的に決定する。 しかし、既存の手法はモデル内部信号(例えば、ロジット、エントロピー)に依存しており、LLMは一般に不整合であり、しばしば誤出力に対して高い信頼を示すため、基本的に信頼性が低い。 本稿では,主観的信頼度から事前学習データから客観的統計へ移行したQuCo-RAGを提案する。 提案手法は,(1) 生成前, 長い尾の知識ギャップを示す低周波の実体を同定し, (2) 生成中, 学習前コーパスにおけるエンティティ共起を検証し, ゼロ共起が幻覚のリスクを生じさせる。 どちらの段階もInfini-gramを4兆トークンを超えるミリ秒レイテンシクエリに利用し、不確実性が高い場合に検索をトリガーする。 マルチホップQAベンチマークの実験により、QuCo-RAGはOLMo-2モデルで最先端のベースラインに対して5～12ポイントのEMゲインを達成し、未公表の事前学習データ(Llama, Qwen, GPT)を持つモデルに効果的に転送し、EMを最大14ポイント改善した。 生物医学的QAにおけるドメインの一般化は、我々のパラダイムの堅牢性をさらに検証する。 これらの結果は、動的RAGの原理的、事実上モデルに依存しないパラダイムとして、コーパスグラウンド検証を確立している。 私たちのコードはhttps://github.com/ZhishanQ/QuCo-RAG.comで公開されています。

関連論文リスト

• Open-World Deepfake Attribution via Confidence-Aware Asymmetric Learning [78.92934995292113]
  本稿では,既知の偽造と新規な偽造の信頼のバランスをとる,信頼を意識した非対称学習(CAL)フレームワークを提案する。 CALは従来手法を一貫して上回り、既知の偽造と新しい偽造の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T12:31:28Z)
• RI-Loss: A Learnable Residual-Informed Loss for Time Series Forecasting [13.117430904377905]
  時系列予測は、過去のデータから将来の値を予測することに依存する。 MSEには2つの根本的な弱点がある:そのポイントワイドエラーは時間的関係を捉えるのに失敗し、データに固有のノイズを考慮しない。 我々は,Hilbert-Schmidt Independence Criterion(HSIC)に基づく新たな目的関数であるResidual-Informed Loss(RI-Loss)を紹介する。
  論文  参考訳（メタデータ） (2025-11-13T09:36:00Z)
• Modeling Uncertainty Trends for Timely Retrieval in Dynamic RAG [35.96258615258145]
  本稿では,トークンレベルの不確実性のダイナミクスをモデル化し,最適検索タイミングを決定するトレーニングフリーな手法であるEntropy-Trend Constraint(ETC)を紹介する。 ETCは、検索周波数を減少させながら、強いベースラインを一貫して上回る。 プラグアンドプレイで、モデルに依存しず、既存のデコードパイプラインに簡単に統合できる。
  論文  参考訳（メタデータ） (2025-11-13T05:28:02Z)
• Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。 複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。 我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
  論文  参考訳（メタデータ） (2025-07-05T19:20:59Z)
• Reinforcement Learning for Better Verbalized Confidence in Long-Form Generation [27.811765400370838]
  本稿では,Long-form Verbalized Confidence (Long-form Verbalized Confidence) を提案する。 具体的には、強化学習(RL)を用いてLLMを訓練し、各生成された文に数値信頼度スコアを付加する。 実験の結果,RL学習モデルによりキャリブレーションの精度が向上し,領域全体にわたって強固に一般化できることがわかった。
  論文  参考訳（メタデータ） (2025-05-29T18:05:20Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。