論文の概要: When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy
- arxiv url: http://arxiv.org/abs/2606.15833v1
- Date: Sun, 14 Jun 2026 14:14:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.881301
- Title: When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy
- Title(参考訳): 正しいエッジが検証できないとき--不完全KGQAにおけるプロヴァンスギャップとProvenance-Favoring Completion Policy
- Abstract要約: 不完全な知識グラフ質問回答(IKGQA)は、推論を継続するために欠落したエッジを完成させる必要がある。
増大する作業行は、検索されたテキストに対して完了したエッジを検証し、テキストサポートをエッジ品質のプロキシとして扱う。
私たちは、私たちの知る限りでは、体系的にテストされていない: テキストの妥当性は、実際に正当性を追跡しているのだろうか?
提案するTGCompleteは,証拠を推論ブレークポイントで検索し,軽量ループを通じて候補を検証し,支援が欠落した場合に断定する,証明に好意的な入場ポリシーである。
- 参考スコア(独自算出の注目度): 8.057966659934769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incomplete Knowledge Graph Question Answering (IKGQA) requires completing missing edges to continue reasoning. A growing line of work verifies completed edges against retrieved text, treating textual support as a proxy for edge quality. We ask a question that, to our knowledge, has not been systematically tested: does textual verifiability actually track correctness? Exploiting the gold deleted triples provided by the standard random-deletion protocol, we measure both. The finding is counterintuitive: among gold-correct completed edges, 76-96% have no supporting passage even under exhaustive retrieval, robustly across deletion rates (20%/40%), datasets (CWQ/WebQSP), and relation types (structural, commonsense, long-tail). Most Freebase-style facts simply do not occur as head-tail co-mentions in text. Textual faithfulness therefore measures provenance, not correctness -- separated by a paradigm-level gap no in-corpus retrieval closes. This reframes edge completion. Since most completed edges -- correct or not -- are causally redundant for the answer (95-97% of correct answers do not depend on any unsupported edge), the central question shifts from "is the edge correct?" to "admit or abstain under provenance uncertainty?" Within this framing we present TGComplete, a provenance-favoring admission policy that retrieves evidence at a reasoning breakpoint, verifies a candidate through a lightweight loop, and abstains when support is absent. Against the generate-to-complete baseline GoG, it attains higher edge precision against gold (15-21% vs 3-14%), with no statistically detectable EM loss and 3.1-7.4 times higher strict faithfulness of admitted edges -- at the cost of lower recall. We position TGComplete not as uniformly better, but as a principled point on a precision/provenance-recall trade-off, appropriate when auditability matters.
- Abstract(参考訳): 不完全な知識グラフ質問回答(IKGQA)は、推論を継続するために欠落したエッジを完成させる必要がある。
増大する作業行は、検索されたテキストに対して完了したエッジを検証し、テキストサポートをエッジ品質のプロキシとして扱う。
私たちは、私たちの知る限りでは、体系的にテストされていない: テキストの妥当性は、実際に正当性を追跡しているのだろうか?
標準ランダム削除プロトコルによって提供される金の除去されたトリプルを爆発させると、両方を計測する。
この発見は非直感的であり、金の修正が完了したエッジのうち76-96%は、徹底的な検索の下でもサポートパスがなく、削除率(20%/40%)、データセット(CWQ/WebQSP)、関係タイプ(構造、コモンセンス、ロングテール)にわたって堅牢である。
ほとんどのFreebaseスタイルの事実は、単にテキストのヘッドテールコメンションとして発生しない。
したがって、テキストの忠実さは、正確さではなく先入観を測る。
これによりエッジの完了が再設定される。
ほとんどの完了したエッジ(正しいかどうかに関わらず)は、答えに対して因果的に冗長である(正しい答えの95-97%は、どのエッジにも依存しない)ため、中心的な質問は「エッジが正しいか?」から「証明の不確実性の下で許容または棄却する」へとシフトする。
このフレーミングの中ではTGCompleteという,推論ブレークポイントで証拠を検索し,軽量ループを通じて候補を検証し,サポートが欠如している場合に停止する,証明に好意的な入場ポリシーを提示する。
ジェネレーション・トゥ・コンプリート・ベースラインのGoGに対して、統計的に検出可能なEM損失がなく、3.1-7.4倍の厳密なエッジをリコールのコストで、金に対して高いエッジ精度(15-21%対3-14%)を達成する。
我々は、TGCompleteが一様ではなく、監査容易性が問題となる場合に適切な精度/性能-リコールトレードオフの原則的ポイントとして位置付ける。
関連論文リスト
- CLAIR-Fin: An Adversarial Multi-Agent Framework for Claim-Level Verification and Adaptive Debate in Cross-Modal Financial QA [0.4417991658092448]
CLAIR-Finは9エージェントのフレームワークで、各質問を型付き金融クレームレジャーで保持される原子クレームに分解する。
各クレームは、非対称エビデンス・オーソリティ、カストディーの連鎖検証、アダプティブ・リビュータル・サイクルを通じて解決される。
バングラデシュ銀行年報資料から設定した500のクロスモーダルファイナンス評価であるBB-FinQA-XのCLAIR-Finを評価する。
論文 参考訳(メタデータ) (2026-08-13T18:59:41Z) - Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳(メタデータ) (2026-06-29T08:36:33Z) - Precision Is Not Faithfulness: Coverage-Aware Evaluation of Grounded Generation with a Complete Oracle [0.0]
基準自由忠実度測定は、モデルが基底真理に対して行う各原子的クレームを検証する。
彼らが盲点を共有していることを示す:彼らは精度だけを計測し、主張されている主張は支持されているか?
戦略的基底真理が決定論的に導出される領域であるF1テレメトリを用いて、この測定を可能にする。
論文 参考訳(メタデータ) (2026-06-08T11:56:25Z) - Conformal Certification of Reasoning Trace Prefixes [30.432255322700126]
CROP(Conformal Reasoning Output Prefixes)は,クリーンアノテート認証のためのバリデーション非依存の校正手順である。
CROPをオーバー・アンド・アンダー・ホールドし、有効な中間的推論を保ち、下流の補修精度を向上させることを実証する。
論文 参考訳(メタデータ) (2026-05-28T15:31:42Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳(メタデータ) (2026-05-13T20:33:59Z) - When Reasoning Traces Become Performative: Step-Level Evidence that Chain-of-Thought Is an Imperfect Oversight Channel [5.106950500256654]
CoT(Chain-of- Thought)トレースは、言語モデルの能力向上とモデルの振る舞いの監査にますます利用されている。
我々は、この仮定を、回答コミットプロキシを中心に構築されたステップレベルのDect-Classify-Compareフレームワークでテストする。
9つのモデルと7つの推論ベンチマーク、潜在コミットメント、明示的な回答到着は平均61.9%のステップで一致している。
論文 参考訳(メタデータ) (2026-05-12T08:24:47Z) - The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies [0.0]
補正研究は、どのステップが計算上重要なのかを、ステップが破損した場合の精度損失から推定する。
ベンチマークチェーンが明確な終端応答ラインに終止符を打つと、これらのテストは中間計算を行う場所ではなく、主に空腹者の配置を計測する。
論文 参考訳(メタデータ) (2026-05-11T16:26:50Z) - GATES: Self-Distillation under Privileged Context with Consensus Gating [89.62339954332248]
我々は、監督が信頼できない環境で自己蒸留を研究する。
非対称な文脈で回答する文書に焦点をあてる。
複数の文書ベース推論トレースをサンプリングすることにより、教師のコンセンサスからオンラインでの監督を導出する。
論文 参考訳(メタデータ) (2026-02-24T05:56:20Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳(メタデータ) (2025-10-07T14:46:12Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳(メタデータ) (2025-04-29T12:39:07Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳(メタデータ) (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。