論文の概要: Rational Synthesizers or Heuristic Followers? Analyzing LLMs in RAG-based Question-Answering

• arxiv url: http://arxiv.org/abs/2601.06189v1
• Date: Thu, 08 Jan 2026 01:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.659776
• Title: Rational Synthesizers or Heuristic Followers? Analyzing LLMs in RAG-based Question-Answering
• Title（参考訳）: 合理的シンセサイザーとヒューリスティック・フォローアー : RAGに基づく質問応答におけるLCMの分析
• Authors: Atharv Naphade,
• Abstract要約: GroupQAは15,058件の多種多様な証拠文書と組み合わせて、1,635件の論争を巻き起こしたデータセットである。 グループレベルのエビデンス・アグリゲーション・ダイナミクスを制御実験により特徴づける。 グループベースの回答に対する LLM の説明は不信であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) is the prevailing paradigm for grounding Large Language Models (LLMs), yet the mechanisms governing how models integrate groups of conflicting retrieved evidence remain opaque. Does an LLM answer a certain way because the evidence is factually strong, because of a prior belief, or merely because it is repeated frequently? To answer this, we introduce GroupQA, a curated dataset of 1,635 controversial questions paired with 15,058 diversely-sourced evidence documents, annotated for stance and qualitative strength. Through controlled experiments, we characterize group-level evidence aggregation dynamics: Paraphrasing an argument can be more persuasive than providing distinct independent support; Models favor evidence presented first rather than last, and Larger models are increasingly resistant to adapt to presented evidence. Additionally, we find that LLM explanations to group-based answers are unfaithful. Together, we show that LLMs behave consistently as vulnerable heuristic followers, with direct implications for improving RAG system design.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) の基盤として広く使われているパラダイムである。 LLMは、証拠が事実的に強いからか、以前の信念のためか、あるいは単に頻繁に繰り返されているからか、何らかの解答をするだろうか? これに対応するために,15,058件の多種多様な証拠資料と組み合わせた1,635件の議論を巻き起こしたデータセットであるGroupQAを紹介した。 制御された実験を通して、グループレベルのエビデンス集約のダイナミクスを特徴づける: 議論のパラフレーズは、独立したサポートを提供するよりも説得力が高い; モデルは、最後にではなく最初に提示されたエビデンスを好む; より大規模なモデルは、提示されたエビデンスに適応することに抵抗性が高まっている。 さらに,グループベースの回答に対するLCMの説明は不信であることがわかった。 共に,LSMは脆弱なヒューリスティックなフォロワーとして一貫して振る舞うことを示し,RAGシステム設計の改善に直接寄与することを示した。

関連論文リスト

• Bounding Hallucinations: Information-Theoretic Guarantees for RAG Systems via Merlin-Arthur Protocols [40.19713302778418]
  本稿では,RAGパイプライン全体をインタラクティブな証明システムとして扱うためのトレーニングフレームワークを提案する。 その結果,M/A訓練によるLLMは,基礎性,完全性,音性,拒否行動が改善された。 本研究は,自律型対話型防犯スタイルの監視が,信頼性の高いRAGシステムへの原則的かつ実践的な経路を提供することを示す。
  論文  参考訳（メタデータ） (2025-12-12T14:50:38Z)
• Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
  Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
  論文  参考訳（メタデータ） (2025-07-13T03:29:41Z)
• Answer-Centric or Reasoning-Driven? Uncovering the Latent Memory Anchor in LLMs [28.556628696390767]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 彼らの成功の多くは、真の推論よりも、暗記された回答推論パターンに起因している、とエビデンスは示唆している。 本稿では, 応答キューを体系的に操作し, 間接的, 行動解析によるモデル行動の探索を行う5段階の応答可視プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-21T08:15:45Z)
• CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs [15.170312674645535]
  CRAVE は、説明可能なクレーム VErification に対する Conflicting Reasoning Approach である。 大規模な言語モデルによって推論される矛盾する理性に基づいて、複雑なクレームを検証することができる。 CRAVEは最先端の手法よりもはるかに優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-04-21T07:20:31Z)
• Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering [41.990482015732574]
  本稿では,三重項(クエスト,エビデンス,アンスワー)の組合せを予測するための新しいエビデンス強化三重項生成フレームワークであるEATQAを提案する。 推測段階における証拠から知識を抽出するために,分布ギャップを橋渡しする。 我々のフレームワークは,クエリとエビデンスと応答の間の論理的関係を学習し,同時にエビデンス生成とクエリ応答を改善する。
  論文  参考訳（メタデータ） (2024-08-27T13:07:07Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Deceptive Semantic Shortcuts on Reasoning Chains: How Far Can Models Go without Hallucination? [73.454943870226]
  本研究はセマンティックアソシエーションによって誘発される特定の種類の幻覚の研究である。 この現象を定量化するために,EureQAと呼ばれる新しい探索手法とベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-11-16T09:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。