論文の概要: CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps

• arxiv url: http://arxiv.org/abs/2607.10562v1
• Date: Sun, 12 Jul 2026 04:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.468822
• Title: CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps
• Title（参考訳）: CRiT-QA:マルチホップ推論の評価
• Abstract要約: 我々はCRiT-QA(Counterfactual Reasoning with Traps)というデータセットを紹介した。 記憶された知識への依存を和らげ、厳密な文脈依存を強制するために、CRiT-QAは事実推論連鎖を反現実的な実体に変換する。 実験の結果,LCMは標準データセットと比較してCRiT-QAの性能低下を示すことがわかった。
• 参考スコア（独自算出の注目度）: 19.949184312340556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the multi-hop reasoning capabilities of large language models remains a significant challenge. Although current models achieve strong results on existing multi-hop question answering datasets, such performance often masks two critical vulnerabilities: (1) reliance on internal parametric knowledge rather than adherence to the provided context, and (2) exploitation of dataset shortcuts, such as single-document cues or type-matching, that diminish the need for genuine evidence aggregation across multiple documents. We introduce CRiT-QA (Counterfactual Reasoning with Traps), a dataset explicitly designed to address both limitations. To neutralize reliance on memorized knowledge and enforce strict context dependency, CRiT-QA transforms factual reasoning chains with counterfactual entities. Furthermore, it injects multi-anchor distractor chains, plausible but incorrect reasoning paths that diverge at different hops. These traps require models to follow the entire reasoning process rather than exploiting shallow heuristics. Our experiments show that LLMs exhibit substantial performance degradation on CRiT-QA compared to standard datasets, exposing their vulnerability to counterfactual conditions and distractor traps. CRiT-QA thus serves as a rigorous diagnostic tool for evaluating genuine multi-hop reasoning and provides a foundation for developing more reliable, evidence-grounded LLMs.
• Abstract（参考訳）: 大規模言語モデルのマルチホップ推論能力を評価することは依然として大きな課題である。 現在のモデルは、既存のマルチホップ質問応答データセットにおいて強力な結果が得られるが、そのようなパフォーマンスは、(1)提供されたコンテキストに従わず、内部のパラメトリック知識に依存すること、(2)単一文書のキューや型マッチングのようなデータセットのショートカットを利用すること、という2つの重大な脆弱性を隠蔽することが多い。 我々はCRiT-QA(Counterfactual Reasoning with Traps)というデータセットを紹介した。 記憶された知識への依存を和らげ、厳密な文脈依存を強制するために、CRiT-QAは事実推論連鎖を反現実的な実体に変換する。 さらに、異なるホップで分岐する複数のアンカー・イントラクタ・チェーン(英語版)を注入する。 これらのトラップは、浅いヒューリスティックを悪用するのではなく、推論プロセス全体に従うモデルを必要とする。 実験の結果,LCMは標準データセットと比較してCRiT-QAの性能低下を示し,その脆弱性を非現実的条件や障害トラップに暴露した。 CRiT-QAは、真のマルチホップ推論を評価するための厳格な診断ツールとして機能し、より信頼性が高くエビデンスを基盤としたLCMを開発する基盤を提供する。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• CRAFT: Calibrated Reasoning with Answer-Faithful Traces via Reinforcement Learning for Multi-Hop Question Answering [19.391824811629125]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)をマルチホップ質問応答に利用するために広く使われている。 マルチホップQAにおける推論は,マルチホップ構成により本質的に複雑であり,ノイズ検索によりさらに不安定となる。 CRAFTは、応答生成時に忠実な推論を行うためにモデルを訓練する強化学習フレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T17:33:39Z)
• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• BMGQ: A Bottom-up Method for Generating Complex Multi-hop Reasoning Questions from Semi-structured Data [8.52473384574856]
  本稿では,半構造化知識ソースから高難易度,訓練可能なマルチホップ質問を自動生成するフレームワークを提案する。 このシステムは、自然言語推論(NLI)に基づく関係型付けと多様性を意識した拡張を通じて、多様な、論理的にラベル付けされたエビデンスクラスタを成長させる。
  論文  参考訳（メタデータ） (2025-10-28T07:43:15Z)
• DTKG: Dual-Track Knowledge Graph-Verified Reasoning Framework for Multi-Hop QA [8.598540768292809]
  質問応答のためのマルチホップ推論は、検索強化世代において重要な役割を果たす。 本稿では,新しい二トラックKG検証および推論フレームワークDTKGを提案する。
  論文  参考訳（メタデータ） (2025-10-18T02:19:11Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Unveiling Reasoning Thresholds in Language Models: Scaling, Fine-Tuning, and Interpretability through Attention Maps [3.8936716676293917]
  本研究では,異なるモデルサイズと訓練データを持つデコーダのみの変換言語モデルのコンテキスト内学習能力について検討する。 我々は,複数の質問応答におけるコモンセンス推論や帰納的推論といったタスクにおいて,推論性能が著しく向上する重要なパラメータしきい値(160億)を同定する。
  論文  参考訳（メタデータ） (2025-02-21T00:48:32Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。