論文の概要: The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA

• arxiv url: http://arxiv.org/abs/2609.27669v1
• Date: Wed, 23 Sep 2026 10:38:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.97855
• Title: The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA
• Title（参考訳）: 道のり:KGQAにおける回答精度以上の小さな言語モデルの評価
• Abstract要約: 小言語モデル(SLM)は知識グラフ(KG)とペアになってきています エンドツーエンドのKG質問応答は、グラフアクセス、検索、ナビゲーション、推論、回答生成を混乱させる。 これらの結果は、終端精度のみを超越したSLMグラフ推論の評価を動機付けている。
• 参考スコア（独自算出の注目度）: 11.103813686369685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models (SLMs) are increasingly paired with knowledge graphs (KGs), yet end-to-end KG question answering conflates graph access, search, navigation, reasoning, and answer generation. This coupling makes it difficult both to determine whether an SLM can faithfully execute the reasoning path implied by a question and to attribute failures to navigation rather than to other stages of the pipeline. We isolate this capability by employing the THESEUS navigation and traceability framework and using frozen, off-the-shelf SLMs as local action policies. At each hop, the environment exposes the legal outgoing graph actions, and the model selects one executable graph action and decides whether to stop, without task-specific parameter updates, model-controlled beam search, or free-form answer generation. This controlled setting allows us to evaluate terminal-answer accuracy with Hits@1 together with path fidelity, using Path Edit Distance (PED) as the primary trajectory metric. Across the Kinship and MQuAKE-ST KGQAs, similarly sized local models differ substantially in answer accuracy and path fidelity, with the two metrics sometimes favoring different models. This model-dependent behavior also extends to prompting, as a single demonstrated trajectory can improve or degrade navigation depending on the model. These results motivate evaluating SLM graph reasoning beyond endpoint accuracy alone.
• Abstract（参考訳）: 小言語モデル (SLM) は知識グラフ (KG) とペアになってきていますが、グラフアクセス、検索、ナビゲーション、推論、回答生成を複雑にします。 この結合により、SLMが質問によって暗示される推論パスを忠実に実行できるかどうかを判断し、パイプラインの他の段階よりもナビゲーションに障害を負わせることが難しくなる。 我々は,TheSEUSナビゲーションとトレーサビリティフレームワークを採用し,凍結した既製のSLMをローカルアクションポリシーとして使用することによって,この機能を分離する。 各ホップにおいて、環境は法的なアウトゴーインググラフアクションを公開し、モデルは1つの実行可能なグラフアクションを選択し、タスク固有のパラメータ更新、モデル制御ビームサーチ、フリーフォーム回答生成なしで停止するかを決定する。 この制御された設定により、パス編集距離(PED)を一次軌跡距離として、Hits@1を用いて終端回答精度を評価することができる。 Kinship と MQuake-ST KGQA 全体でも、同じ大きさのローカルモデルは回答の正確さとパスの忠実さで大きく異なり、2つのメトリクスは異なるモデルを好むことがある。 このモデルに依存した振る舞いは、モデルによってナビゲーションを改善したり、劣化させたりできるため、プロンプトにも拡張される。 これらの結果は、終端精度のみを超越したSLMグラフ推論の評価を動機付けている。

関連論文リスト

• STAR: Semantic-Tuned and Tail-Adaptive Retriever for Graph-Augmented Generation [69.66045538889777]
  本稿では,GraphRAGのためのセマンティックチューニングとテール適応型レトリバーSTARを提案する。 STARは一貫してベースラインを上回り、平均検索性能は1.8%向上した。
  論文  参考訳（メタデータ） (2026-04-11T10:16:51Z)
• LLMs for Text-Based Exploration and Navigation Under Partial Observability [0.8478633389228728]
  未知のレイアウトでの探索と目標指向ナビゲーションは、検査、ロジスティクス、検索と救助の中心である。 我々は,大言語モデル (LLM) が部分的可観測性の下で,Emphtextのみのコントローラとして機能するかどうかを問う。
  論文  参考訳（メタデータ） (2026-03-10T10:38:47Z)
• S-Path-RAG: Semantic-Aware Shortest-Path Retrieval Augmented Generation for Multi-Hop Knowledge Graph Question Answering [10.112212302226615]
  S-Path-RAGは,大規模知識グラフ上でのマルチホップ質問応答を改善するためのフレームワークである。 S-Path-RAGは、有界長、意味的に重み付けされた候補経路を列挙することによって、一発のテキスト重み付き検索から離脱する。 我々は、標準的なマルチホップKGQAベンチマークと、改善と診断分析を通じてS-Path-RAGを検証する。
  論文  参考訳（メタデータ） (2026-03-05T14:22:23Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Probing the Trajectories of Reasoning Traces in Large Language Models [4.599673637363014]
  本研究では,大規模言語モデルにおける推論トレースの軌跡を探索するプロトコルを提案する。 得られた推論トークンの比率が大きくなるにつれて、精度と決定のコミットメントが一貫して増加することが分かっています。 軌道探索が推論モデルのより効率的かつ安全な展開のための診断を提供することを示す。
  論文  参考訳（メタデータ） (2026-01-30T16:45:16Z)
• ReasonNavi: Human-Inspired Global Map Reasoning for Zero-Shot Embodied Navigation [53.95797153529148]
  身体的エージェントは、主に部分的な自我中心の観測に依存するため、効率的なナビゲーションに苦しむことが多い。 本稿では,マルチモーダル大規模言語モデル(MLLM)と決定論的プランナを結合することにより,この理由に基づくパラダイムを運用する,人間にインスパイアされたフレームワークであるReasonNaviを紹介する。
  論文  参考訳（メタデータ） (2026-01-26T19:09:20Z)
• Search-on-Graph: Iterative Informed Navigation for Large Language Model Reasoning on Knowledge Graphs [26.0585592684229]
  大規模言語モデル(LLM)は、知識集約型マルチホップ質問では信頼性が保たれていない印象的な推論能力を示している。 本稿では,LLMの反復的なグラフナビゲーションを実現するための,シンプルかつ効果的なフレームワークである検索オングラフ(SoG)を提案する。 Wikidataベンチマーク(以前のベストメソッドよりも+16%改善)とFreebaseベンチマークの一貫性のある改善は特に顕著です。
  論文  参考訳（メタデータ） (2025-10-09T21:20:16Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。