Fugu-MT 論文翻訳(概要): MissDiag: Diagnostic Evaluation of Incomplete-Knowledge Robustness in KGQA and KG-RAG

論文の概要: MissDiag: Diagnostic Evaluation of Incomplete-Knowledge Robustness in KGQA and KG-RAG

arxiv url: http://arxiv.org/abs/2608.18489v1
Date: Wed, 19 Aug 2026 03:28:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.267974
Title: MissDiag: Diagnostic Evaluation of Incomplete-Knowledge Robustness in KGQA and KG-RAG
Title（参考訳）: MissDiag : KGQAとKG-RAGの不完全知識ロバスト性診断
Abstract要約: MissDiagは、KGQAおよびKG-RAGにおける不完全知識堅牢性の診断評価フレームワークである。 MissDiagは、エビデンスタイプ、システム応答、評価プロトコルによってロバストな変更を分解する。
参考スコア（独自算出の注目度）: 22.23152742210271
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge graph question answering (KGQA) and knowledge-graph-based retrieval-augmented generation (KG-RAG) aim to ground answers in explicit graph evidence, but real-world knowledge graphs are often sparse, outdated, and incomplete. Existing robustness evaluations usually report aggregate changes in answer quality after evidence is removed or perturbed, which measures sensitivity to incomplete support but leaves the source of degradation under-specified: the same score change can conflate the type of missing evidence, the response of the evaluated system, and the sensitivity of the answer-matching protocol. To address this gap, we propose \textbf{MissDiag}, a diagnostic evaluation framework for incomplete-knowledge robustness in KGQA and KG-RAG. MissDiag keeps the question and gold answer fixed while applying structurally typed missingness interventions to benchmark-provided support graphs, enabling paired comparisons that decompose robustness changes by evidence type, system response, and evaluation protocol rather than reducing them to a single aggregate score drop. Experiments across multiple system families show that incomplete-knowledge robustness is better understood as a typed degradation phenomenon than as a uniform property: answer-adjacent evidence loss produces the largest observed degradation, source-context removal is often neutral and can be beneficial, and semantic answer matching changes absolute scores while preserving the main typed degradation patterns. By transforming aggregate robustness measurement into typed diagnostic attribution, MissDiag provides a more interpretable basis for comparing, diagnosing, and stress-testing KGQA and KG-RAG systems under incomplete knowledge.
Abstract（参考訳）: 知識グラフ質問応答 (KGQA) と知識グラフに基づく検索強化生成 (KG-RAG) は、明示的なグラフ証拠に答えを基礎づけることを目的としているが、現実の知識グラフは、しばしば疎外、時代遅れ、不完全である。既存のロバスト性評価では、証拠が取り除かれた後、解答品質の総括的な変化を報告し、不完全サポートに対する感受性を計測するが、劣化の原因は特定されていない:同じスコア変更は、欠落した証拠の種類、評価されたシステムの応答、解答マッチングプロトコルの感度を説明できる。このギャップに対処するために、KGQAとKG-RAGの不完全知識ロバスト性に関する診断評価フレームワークである「textbf{MissDiag}」を提案する。 MissDiagは、構造的に型付けされた欠落の介入をベンチマークで提供されたサポートグラフに適用しながら、質問と金の回答を固定し、単一の集計スコアダウンに還元するのではなく、エビデンスタイプ、システムレスポンス、評価プロトコルによる堅牢性の変化を分解するペア比較を可能にする。複数の系での実験では、不完全知識の堅牢性は、一様性よりもタイプド劣化現象として理解されていることが示されている: 応答隣接証拠の損失は、最も観察された最大の劣化を生じさせ、ソースコンテキストの除去はしばしば中立であり、有用であり、セマンティックな応答マッチングは、主要な型付き劣化パターンを保存しながら絶対的なスコアを変化させる。集合ロバストネス測定を型付き診断属性に変換することで、ミスダイアグは不完全知識下でのKGQAおよびKG-RAGシステムの比較、診断、およびストレステストを行うためのより解釈可能な基盤を提供する。

関連論文リスト

CiteGuard-RAG: A Validation-Centered AI System for Evidence-Grounded Question Answering [0.21748200848556343]
CiteGuard-RAGは、根拠に基づく質問応答のための検証中心のAIシステムである。システムはセマンティックレキシカル検索、引用制約付き生成、文レベルの接地検証、シングルパス再生を統合している。 CiteGuard-RAGは、コントロールされた住宅法データセット全体で400の質問に対して評価される。
論文参考訳（メタデータ） (2026-09-14T16:30:54Z)
Beyond Relevance: Bayesian Evidence Acquisition for Agentic Whole-Slide Image Reasoning [72.86819994769634]
全体スライド画像推論(WSI)では、診断問題に答える前に、エージェントが視覚的証拠を逐次取得する必要がある。本稿では,WSI推論をベイズ証拠取得問題として再検討する,プラグイン・アンド・プレイのエージェント・フレームワークBEACONを提案する。
論文参考訳（メタデータ） (2026-08-06T08:40:57Z)
HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文参考訳（メタデータ） (2026-07-27T23:50:46Z)
Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA [4.080704298118247]
マルチモーダルAIは、信頼性と解釈性を維持しながら、視覚とテキストの証拠を組み合わせる必要がある。我々は、質問応答と説明品質のために、9つの文書化されたシステムにまたがる設計選択を解析する。この発見は、データ融合、説明可能性、レジリエントな評価に基づいて、信頼できるマルチモーダルヘルスケアAIをサポートする。
論文参考訳（メタデータ） (2026-07-16T17:38:19Z)
A Systems-Level Analysis of Sensitivity, Robustness, and Stability in Retrieval-Augmented Generation [0.0]
Retrieval-Augmented Generation (RAG) システムは最終回答精度を用いて評価されることが多い。本稿では,56回の試験走行においてRAG感度,ロバスト性,安定性の制御実験を行った。
論文参考訳（メタデータ） (2026-05-29T17:24:40Z)
GenShield: Unified Detection and Artifact Correction for AI-Generated Images [65.11434977803509]
GenShieldは、診断から修復までのクローズドループでAIGI検出とアーティファクト修正を実行するフレームワークである。大規模なアーティファクト-restored'ペアを備えた高品質データセットは、統一された評価パイプラインと共に構築される。
論文参考訳（メタデータ） (2026-05-15T16:06:20Z)
Facet-Level Tracing of Evidence Uncertainty and Hallucination in RAG [8.18791900871137]
Retrieval-Augmented Generationは、検索された証拠の回答を根拠にして幻覚を減らすことを目的としている。既存の評価は回答レベルの精度や通過レベルの正確さに重点を置いており、世代間の証拠の使用方法に関する限られた洞察を与えている。本稿では、各入力質問を原子推論ファセットに分解するQAのためのファセットレベル診断フレームワークを提案する。
論文参考訳（メタデータ） (2026-04-10T09:59:43Z)
When Iterative RAG Beats Ideal Evidence: A Diagnostic Study in Scientific Multi-hop Question Answering [0.2796197251957245]
我々は,同期反復検索と推論が,理想化された静的上界(Gold Context)RAGを超えることができるかどうかを考察した。我々は,No Context,Gold Context,Gold Context,Gold Context,Iterative RAG,Gold Context,Gold Context,Gold Context,I。モデル全体では、Iterative RAGはゴールドコンテキストを一貫して上回り、特に非推論では最大25.6ポイントまで上昇する。
論文参考訳（メタデータ） (2026-01-27T17:35:05Z)
Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文参考訳（メタデータ） (2025-10-01T07:59:03Z)
Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文参考訳（メタデータ） (2025-05-29T14:44:52Z)
Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文参考訳（メタデータ） (2025-05-27T11:56:59Z)
Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文参考訳（メタデータ） (2025-04-21T04:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。