論文の概要: When Knowledge Changes: Metamorphic Testing of RAG Systems with Mutations

• arxiv url: http://arxiv.org/abs/2607.26843v1
• Date: Wed, 29 Jul 2026 12:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.665224
• Title: When Knowledge Changes: Metamorphic Testing of RAG Systems with Mutations
• Title（参考訳）: 知識の変化: 変異を伴うRAGシステムの変成テスト
• Abstract要約: コーパス進化中のRAGシステムの整合性を評価するテストフレームワークを提案する。 故障分類学と11の突然変異演算子を定式化し,前チャンク(検索指標)と後チャンクレベルの両方でシステムを体系的に摂動させる。
• 参考スコア（独自算出の注目度）: 7.72636722205447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG)-based LLM systems rely on external document corpora that can evolve and change over time. However, current evaluation methodologies (e.g., RAGAS) assess correctness against static snapshots, failing to detect faults when routine updates, factual changes, or noise alter the underlying data. We introduce a metamorphic testing framework that evaluates the consistency of RAG systems under corpus evolution. We formalise a fault taxonomy and 11 mutation operators that systematically perturb the system at both the pre-chunk (retrieval index) and post-chunk (retrieved context) levels. An empirical evaluation across five datasets and over 28k mutants reveals metamorphic violation rates of 4.9-10.2%. In a meta-evaluation against ground truth, our metamorphic oracle achieves F1 scores of 0.927-1.000, while the best RAGAS metric reaches only 0.570. Finally, we provide actionable insights into mitigating these faults through retrieval re-configuration, generator upgrades, and LLM-based reranking.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)ベースのLLMシステムは、時間とともに進化し変化する外部文書コーパスに依存している。 しかしながら、現在の評価手法(例えばRAGAS)は、静的スナップショットに対する正当性を評価し、定期的な更新や事実の変更、あるいはノイズが基盤となるデータを変更する時に障害を検出することができない。 コーパス進化下におけるRAGシステムの整合性を評価するメタモルフィックテストフレームワークを提案する。 障害分類学と11の突然変異演算子を定式化し,前チャンク(検索指標)と後チャンク(検索文脈)の両方でシステムを体系的に摂動させる。 5つのデータセットと28k以上の変異体に対する実証的な評価では、変成的違反率は4.9-10.2%である。 地上真実に対するメタ評価では、我々の変成オラクルはF1スコアの0.927-1.000を達成し、最高のRAGAS測度は0.570にしか達しない。 最後に、検索再構成、ジェネレータアップグレード、LLMベースのリグレードを通じて、これらの障害を緩和するための実用的な洞察を提供する。

関連論文リスト

• A Systems-Level Analysis of Sensitivity, Robustness, and Stability in Retrieval-Augmented Generation [0.0]
  Retrieval-Augmented Generation (RAG) システムは最終回答精度を用いて評価されることが多い。 本稿では,56回の試験走行においてRAG感度,ロバスト性,安定性の制御実験を行った。
  論文  参考訳（メタデータ） (2026-05-29T17:24:40Z)
• Reliable Self-Harm Risk Screening via Adaptive Multi-Agent LLM Systems [6.14481021961242]
  有向非巡回グラフ(DAG)として構造化されたマルチエージェントパイプラインの統計的枠組みを提案する。 我々は各エージェントをカテゴリー決定としてモデル化し、より厳密なエージェントレベルのパフォーマンス信頼境界を導入する。 本研究では,2つのラベル付きデータセットを用いた行動保健システムの評価を行った。
  論文  参考訳（メタデータ） (2026-04-24T01:52:54Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Insider Knowledge: How Much Can RAG Systems Gain from Evaluation Secrets? [24.068226474653617]
  特にNuggetベースのアプローチは、評価フレームワークだけでなく、RAGシステム自体のアーキテクチャにも組み込まれています。 本研究は,プロンプトテンプレートやゴールドナゲットなどの評価要素がリークされたり,予測されたりした場合に,ほぼ完全な評価スコアが得られることを示す。
  論文  参考訳（メタデータ） (2026-01-19T17:03:20Z)
• QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation [14.312693191309101]
  Dynamic Retrieval-Augmented Generationは、大規模言語モデルにおける幻覚への生成時にいつ取得するかを適応的に決定する。 本稿では,主観的信頼度から事前学習データから客観的統計へ移行したQuCo-RAGを提案する。 提案手法は,(1) 生成前, 長い尾の知識ギャップを示す低周波の実体を同定し, (2) 生成中, 学習前コーパスにおけるエンティティ共起を検証し, ゼロ共起が幻覚のリスクを生じさせる。
  論文  参考訳（メタデータ） (2025-12-22T08:28:05Z)
• Worse than Zero-shot? A Fact-Checking Dataset for Evaluating the Robustness of RAG Against Misleading Retrievals [5.605770511387228]
  RAGuardは、不正検索に対するRAGシステムの堅牢性を評価する最初のベンチマークである。 合成ノイズに依存する以前のベンチマークとは異なり、ファクトチェックデータセットは自然に発生する誤報をキャプチャする。
  論文  参考訳（メタデータ） (2025-02-22T05:50:15Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。