論文の概要: Diagnostic Analysis for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2610.27245v1
• Date: Mon, 19 Oct 2026 20:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.4918
• Title: Diagnostic Analysis for Large Language Model Reasoning
• Title（参考訳）: 大規模言語モデル推論のための診断解析
• Abstract要約: 推論構造は確率的推測、事実性検証、不確実性推定にますます利用されている。 オープンエンドマルチホップQAにおける2段階の診断評価によって,この信頼性が維持されるかどうかを検証した。 生成エッジ実験により、グラフベースの計算は上流のグラフ誤差に敏感であり、ゴールドグラフ設定と比較して性能が低下することが示された。
• 参考スコア（独自算出の注目度）: 14.738135247464543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning structures (e.g., chains and graphs) are increasingly used for probabilistic inference, factuality verification, and uncertainty estimation, but their structural reliability is rarely evaluated directly. We test whether this reliability holds through a proposed two-stage diagnostic evaluation in open-ended multi-hop QA. Stage 1 tests different capabilities required to construct reasoning graphs, showing that graph reliability varies with topology, prompt design, and model family. Stage 2 uses uncertainty estimation as a downstream test case. Generated-edge experiments show that graph-based computation is sensitive to upstream graph errors, with performance dropping relative to the gold-graph setting. Gold-graph experiments further show that graph structure provides little benefit when used only as prompt context, but improves the separation of correct from incorrect answers by confidence score and enables node-level diagnostics.
• Abstract（参考訳）: 共振構造(例えば鎖やグラフ)は確率的推測、事実性検証、不確実性推定にますます使われているが、それらの構造的信頼性は直接評価されることは稀である。 オープンエンドマルチホップQAにおける2段階の診断評価によって,この信頼性が維持されるかどうかを検証した。 ステージ1では、推論グラフを構築するのに必要なさまざまな機能をテストし、グラフの信頼性がトポロジ、プロンプトデザイン、モデルファミリーによって異なることを示す。 ステージ2は下流のテストケースとして不確実性推定を使用する。 生成エッジ実験により、グラフベースの計算は上流のグラフ誤差に敏感であり、ゴールドグラフ設定と比較して性能が低下することが示された。 金グラフ実験は、グラフ構造が即時文脈としてのみ用いられる場合の利点はほとんど示さないが、信頼度スコアによる正解と正解の分離を改善し、ノードレベルの診断を可能にすることを示した。

関連論文リスト

• VeriGraph: Towards Verifiable Data-Analytic Agents [71.17693022916896]
  LLMをベースとしたエージェントは、データ集約分析タスクにおいて強力な能力を示してきたが、その出力は滅多に検証されていない。 We propose VeriGraph, a traceable neuro-symbolic reasoning framework that agent can construct an explicit heterogeneous evidence directed acyclic graph。 以上の結果から,明示的なエビデンスグラフ構築がデータ分析エージェントの検証に期待できる道のりであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T11:50:56Z)
• Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution [12.955460962298588]
  我々は、生成した推論トレースのみに基づいてステップレベルの信頼性を割り当てる、クローズドソース LLM のためのフレームワークである Stepwise Confidence Attribution (SCA) を紹介する。 SCAは、推論エラーと強く相関する低信頼のステップを確実に特定します。 ステップレベルの信頼を利用して自己補正を導くことで、回答レベルのフィードバックよりも最大で13.5%の修正成功率が向上する。
  論文  参考訳（メタデータ） (2026-05-19T00:57:51Z)
• How Execution Features Relate to Failures: An Empirical Study and Diagnosis Approach [11.857060911501016]
  障害のローカライゼーションは、障害の原因となる可能性のあるコード領域を特定することを目的としている。 従来のテクニックは主にステートメントの実行と失敗を関連付けています。 我々は17の実行特徴を分析し,その相関性を評価した。
  論文  参考訳（メタデータ） (2025-02-25T22:00:05Z)
• On Different Notions of Redundancy in Conditional-Independence-Based Discovery of Graphical Models [7.33673561186158]
  冗長なテストは、学習したモデルのエラーを検出したり、時に修正する可能性があることを示す。 確率分布毎に保持される条件付き(独立性)ステートメントは、誤りを検出して修正することはありそうにない、と我々は主張する。
  論文  参考訳（メタデータ） (2025-02-12T16:08:48Z)
• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• DAGnosis: Localized Identification of Data Inconsistencies using Structures [73.39285449012255]
  機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。 我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。 我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
  論文  参考訳（メタデータ） (2024-02-26T11:29:16Z)
• Towards Self-Interpretable Graph-Level Anomaly Detection [73.1152604947837]
  グラフレベルの異常検出(GLAD)は、コレクションの大多数と比べて顕著な相違を示すグラフを識別することを目的としている。 本稿では,異常なグラフを検出し,同時に情報的説明を生成する自己解釈グラフaNomaly dETectionモデル(SIGNET)を提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:10:07Z)
• Faithful Knowledge Graph Explanations for Commonsense Reasoning [7.242609314791262]
  言語モデル(LM)と知識グラフ(KG)の融合は、常識的質問応答において広く利用されている。 現在の手法は、しばしば忠実さをデコードするパスを見落とし、グラフエンコーダ出力とモデル予測の間にばらつきをもたらす。 本研究は,LM-KGのミスアライメントと相反する効果を,突発的な説明を引き起こす重要な要因として同定する。
  論文  参考訳（メタデータ） (2023-10-07T20:29:45Z)
• Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification [69.45543438974963]
  視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。 十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。 本稿では,これらの問題に対処するためのCIFT法を提案する。
  論文  参考訳（メタデータ） (2022-08-01T16:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。