論文の概要: Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge
- arxiv url: http://arxiv.org/abs/2608.07838v1
- Date: Sat, 08 Aug 2026 00:46:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.528342
- Title: Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge
- Title（参考訳）: 不均質な知識に基づくLCMにおけるファクチュアリティ整合性および秩序破壊的接地推論のための対実的ベンチマークとトレーニング
- Abstract要約: 大規模言語モデル(LLM)は、ユーザが提供する知識に基づく応答生成をますますサポートしている。
TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KG)に接地した実数整合性ベンチマークである。
それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
- 参考スコア（独自算出の注目度）: 21.86609553205461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have increasingly supported response generation grounded in user-provided knowledge spanning heterogeneous structures. However, existing benchmarks provide limited assessment of whether LLMs can faithfully perform multi-hop reasoning chains across such knowledge contexts while remaining robust to variations in their input order. We introduce TKFQA, a factuality consistency benchmark comprising 10,130 question-answering (QA) pairs grounded in tables, texts, and knowledge graphs (KGs). Each example is constructed from an explicit counterfactual reasoning chain, enabling the joint evaluation of answer correctness, reasoning-chain accuracy, and robustness to different input-order. An extensive evaluation of 14 open- and closed-source LLMs reveals that state-of-the-art models exhibit limited reasoning-chain accuracy and remain sensitive to variations in the input order of heterogeneous knowledge contexts. To address these limitations, we propose ORLF, an LLM-agnostic training framework that models cross-context topological relations through knowledge-specific latent vectors. ORLF integrates context-wise position encoding, a latent-bridge attention mask, and topological knowledge bias to preserve knowledge-specific bias and encode topological semantics. Experiments across four LLM backbones show that ORLF outperforms competitive training-free and LoRA-based baselines, improving average Exact Match and Reasoning-Chain Accuracy by 2.15% and 4.29%, respectively, while reducing order-induced performance standard deviation by 0.04% to 3.01%.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、異種構造にまたがるユーザが提供する知識に基づく応答生成をますますサポートしている。
しかし、既存のベンチマークでは、LLMが入力順序の変動に頑健でありながら、そのような知識コンテキストにまたがるマルチホップ推論チェーンを忠実に実行できるかどうかを限定的に評価している。
TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KGs)にグラウンドアップした事実整合性ベンチマークである。
それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
14のオープンおよびクローズドソースLCMの広範な評価により、最先端のモデルでは推論チェーンの精度が限られており、異種知識コンテキストの入力順序の変動に敏感であることが明らかとなった。
これらの制約に対処するために,知識固有の潜伏ベクトルを通したクロスコンテクストトポロジカルなトポロジカルな関係をモデル化する LLM に依存しないトレーニングフレームワーク ORLF を提案する。
ORLFは、コンテキストワイズ位置符号化、潜在ブリッジ注意マスク、およびトポロジカル知識バイアスを統合して、知識固有のバイアスを保持し、トポロジカルセマンティクスを符号化する。
LLMの4つのバックボーンでの実験では、ORLFは競争力のないトレーニングベースラインとLoRAベースのベースラインを上回り、平均的なマッチと推論チェーンの精度をそれぞれ2.15%と4.29%改善し、注文によるパフォーマンス標準偏差を0.04%から3.01%削減した。
関連論文リスト
- Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。
LLMは、マイナーな単語変更で予測不能に変動する。
この双対性を解決することは 信頼できるAIアライメントに 不可欠です
論文 参考訳（メタデータ） (2026-09-15T03:35:04Z) - Evaluation of Contextual Understanding in Large Language Models [0.8150815269284862]
大規模言語モデル(LLM)は多様なNLPタスクにまたがって優れた性能を示すが、実際の文脈理解を示す能力は未だ不明である。
パープレキシティ(perplexity)やバイリンガル評価(BiLingual Evaluation Understudy、BLEU)、表面レベルの精度といった従来の評価指標では、LLMが文脈情報をどのように抽出し、統合し、推論するかは明らかになっていない。
KGのセマンティック構造類似性を導入した知識グラフに基づく新しい評価フレームワーク(S3KG)を提案する。
論文 参考訳（メタデータ） (2026-09-08T16:41:50Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment [14.539964360184086]
大規模言語モデル(LLM)は自然言語処理において顕著な能力を示しているが、知識集約的なタスクではうまく機能しない。
本稿では,クエリと応答間の因果効果の偏りのない推定を可能にする,新しい因果的プロンプトフレームワークである条件付きフロントドアプロンプト(CFD-Prompting)を提案する。
論文 参考訳（メタデータ） (2025-08-23T05:52:39Z) - The Knowledge-Reasoning Dissociation: Fundamental Limitations of LLMs in Clinical Natural Language Inference [13.59675117792588]
大規模言語モデルは、データとパラメータをスケーリングすることで、ますます構造化され、一般化可能な内部表現を取得すると仮定されることが多い。
本研究は,4つの理性家族からなる臨床トライアル自然言語帰属ベンチマークを導入することで,この仮定を疑問視する。
各項目は、ターゲットとなるグラウンド知識とメタレベル推論検証プローブと組み合わせて、推論の失敗から事実アクセスの失敗を解離させる。
論文 参考訳（メタデータ） (2025-08-14T16:01:10Z) - Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。
原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。
本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-01-02T16:38:21Z) - UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。
知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。
提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
論文 参考訳（メタデータ） (2024-12-16T14:14:27Z) - OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。
我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。
提案手法に基づいてLCMを最適化する方法を示す。
論文 参考訳（メタデータ） (2024-10-31T07:48:44Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Leveraging Prompts in LLMs to Overcome Imbalances in Complex Educational Text Data [1.8280573037181356]
本稿では,Large Language Models (LLMs) の可能性を探究する。
この問題は、学生の認知的エンゲージメントレベルがオープンな反応に有意な変化を示す教育分野において特に顕著である。
論文 参考訳（メタデータ） (2024-04-28T00:24:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。