論文の概要: How Benchmark Graph Construction Shapes Multi-Hop KG Navigation: A Controlled Audit of PathQuestion and PathQuestion-Large
- arxiv url: http://arxiv.org/abs/2610.26399v1
- Date: Mon, 19 Oct 2026 13:41:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-21 06:57:54.316164
- Title: How Benchmark Graph Construction Shapes Multi-Hop KG Navigation: A Controlled Audit of PathQuestion and PathQuestion-Large
- Title(参考訳): ベンチマークグラフ構築がマルチホップKGナビゲーションを形作る方法:パスクエストとパスクエストラージの制御された監査
- Abstract要約: 制御された介入の下でグラフナビゲーションベンチマークとしてPathQuestion(PQ)とPathQuestion-Large(PQL)を監査する。
これらの構造変化が、構造参照、凍結された小言語モデルナビゲーションポリシー、訓練されたMINERVAポリシーを用いて、ナビゲーションポリシー全体にわたって持続するかどうかを評価する。
- 参考スコア(独自算出の注目度): 11.103813686369685
- License:
- Abstract: Multi-hop knowledge-graph question answering (KGQA) benchmarks are often treated as fixed language-and-reasoning tasks, but for navigation-based methods, difficulty also depends on the graph in which those tasks are instantiated. This makes graph construction a consequential but often entangled part of the navigation task. To isolate this effect, we audit PathQuestion (PQ) and PathQuestion-Large (PQL) as graph-navigation benchmarks under a controlled intervention: we hold questions, topic entities, released answers, released path annotations, and family-level splits fixed while replacing each released task-filtered graph with the larger source KG distributed with the benchmark. Source restoration expands the effective navigation search space and graph-consistent answer and path multiplicity while sharply reducing unguided reachability to released answers. We evaluate whether these structural changes persist across navigation policies using structural references, frozen small-language-model navigation policies, and trained MINERVA policies. Across both frozen and trained policies, restoration substantially reduces released-answer accuracy and trajectory fidelity, while graph-consistent evaluation recovers only part of the loss. These results show that benchmark graph construction is part of the navigation task specification rather than merely an implementation detail and can materially shape measured behavior even when the released QA task is held fixed.
- Abstract(参考訳): マルチホップ知識グラフ質問応答(KGQA)ベンチマークは、しばしば固定言語と推論タスクとして扱われるが、ナビゲーションベースの手法では、それらのタスクがインスタンス化されるグラフにも依存する。
これによりグラフ構築は連続的ではあるが、ナビゲーションタスクの一部が絡み合っていることが多い。
この効果を分離するために、我々は、グラフナビゲーションベンチマークとしてPathQuestion(PQ)とPathQuestion-Large(PQL)を監査する: 質問、トピックエンティティ、リリースされた回答、リリースされたパスアノテーション、家族レベルの分割を保持し、各リリースされたタスクフィルタリンググラフを、ベンチマークで分散されたより大きなソースKGに置き換える。
ソース復元は、有効なナビゲーション検索空間とグラフ一貫性のある回答とパスの多重性を拡張し、解放された回答に対する未案内の到達性を著しく低減する。
これらの構造変化が、構造参照、凍結された小言語モデルナビゲーションポリシー、訓練されたMINERVAポリシーを用いて、ナビゲーションポリシー全体にわたって持続するかどうかを評価する。
凍結および訓練されたポリシー全体にわたって、復元は解答精度と軌跡忠実度を大幅に低下させ、グラフ一貫性評価は損失の一部を回復させる。
これらの結果から,ベンチマークグラフの構成は単なる実装詳細ではなく,ナビゲーションタスク仕様の一部であり,リリースされたQAタスクが固定された場合でも,実際に測定された振る舞いを形作ることができることがわかった。
関連論文リスト
- Foresight-over-Graph: Reasoning Beyond Local Horizons for Knowledge Base Question Answering [61.41039067700017]
本稿では,知識ベース質問応答(KBQA)のためのフォレスト・オーバー・グラフ(FoG)を提案する。
FoGは、質問関連エビデンスを反復的に構築し、経路探索のガイドとして遠方からのフィードバックを使用する。
KBQAベンチマークの実験は、FoGが最先端のパフォーマンスを達成し、特にCWQで16.58%向上したことを示している。
論文 参考訳(メタデータ) (2026-10-06T14:07:43Z) - The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA [11.103813686369685]
小言語モデル(SLM)は知識グラフ(KG)とペアになってきています
エンドツーエンドのKG質問応答は、グラフアクセス、検索、ナビゲーション、推論、回答生成を混乱させる。
これらの結果は、終端精度のみを超越したSLMグラフ推論の評価を動機付けている。
論文 参考訳(メタデータ) (2026-09-23T10:38:23Z) - When Thinking Before Retrieval Hurts: TraceBound Diagnostics for Adaptive Knowledge-Graph Retrieval [0.0]
TraceBoundは、テキストリッチな知識グラフ上でARKスタイルの検索を行うための軽量なプロファイルおよびトレース条件付き診断プロトコルである。
テキストリッチな知識グラフ上でARKスタイルの検索を行うための軽量なプロファイルおよびトレース条件付き診断プロトコルであるTraceBoundを導入することで、この前提について検討する。
論文 参考訳(メタデータ) (2026-07-06T09:16:38Z) - HELP: HyperNode Expansion and Logical Path-Guided Evidence Localization for Accurate and Efficient GraphRAG [53.30561659838455]
大きな言語モデル(LLM)は、しばしば固有の知識境界と幻覚に苦しむ。
Retrieval-Augmented Generation (RAG) は、マルチホップ推論に不可欠な構造的相互依存性をしばしば見落としている。
ヘルプは、複数の単純でマルチホップなQAベンチマークで競合性能を達成し、グラフベースのRAGベースラインよりも28.8$times$のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-02-24T14:05:29Z) - Breaking the Static Graph: Context-Aware Traversal for Robust Retrieval-Augmented Generation [12.71443292660797]
堅牢なRAGのためのコンテキスト認識トラバーサルであるCatRAGを提案する。
CatRAGはHippoRAG 2アーキテクチャ上に構築され、静的なKGをクエリ適応ナビゲーション構造に変換する。
4つのマルチホップベンチマークの実験では、CatRAGはアートベースラインの状態を一貫して上回っている。
論文 参考訳(メタデータ) (2026-02-02T11:13:38Z) - A Navigational Approach for Comprehensive RAG via Traversal over Proposition Graphs [23.840376380790783]
ToPGは知識ベースを命題、実体、通過の異種グラフとしてモデル化する。
TOPGは精度と品質ベースのメトリクスの両方で強力なパフォーマンスを示している。
論文 参考訳(メタデータ) (2026-01-08T11:50:40Z) - AutoGraph-R1: End-to-End Reinforcement Learning for Knowledge Graph Construction [60.51319139563509]
強化学習(RL)を用いたタスクパフォーマンスのKG構築を直接最適化する最初のフレームワークであるAutoGraph-R1を紹介する。
我々は2つの新しいタスク対応報酬関数を設計し、1つは知識担体としてのグラフと、もう1つは知識指標としてのグラフを設計する。
私たちの研究は、構築とアプリケーションの間のループを閉じることが可能であることを示している。
論文 参考訳(メタデータ) (2025-10-17T06:03:36Z) - Search-on-Graph: Iterative Informed Navigation for Large Language Model Reasoning on Knowledge Graphs [26.0585592684229]
大規模言語モデル(LLM)は、知識集約型マルチホップ質問では信頼性が保たれていない印象的な推論能力を示している。
本稿では,LLMの反復的なグラフナビゲーションを実現するための,シンプルかつ効果的なフレームワークである検索オングラフ(SoG)を提案する。
Wikidataベンチマーク(以前のベストメソッドよりも+16%改善)とFreebaseベンチマークの一貫性のある改善は特に顕著です。
論文 参考訳(メタデータ) (2025-10-09T21:20:16Z) - Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ
これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。
既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。
我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
論文 参考訳(メタデータ) (2025-09-25T06:48:52Z) - Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。
革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。
属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。
階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
論文 参考訳(メタデータ) (2025-05-20T06:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。