論文の概要: PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning
- arxiv url: http://arxiv.org/abs/2604.04565v1
- Date: Mon, 06 Apr 2026 09:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.163774
- Title: PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning
- Title(参考訳): PassiveQA: 監督されたファインタニングによるエピステマティックな質問回答のための3要素フレームワーク
- Authors: Madhav S Baidya,
- Abstract要約: 不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。
本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。
提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have achieved strong performance in question answering and retrieval-augmented generation (RAG), yet they implicitly assume that user queries are fully specified and answerable. In real-world settings, queries are often incomplete, ambiguous, or missing critical variables, leading models to produce overconfident or hallucinated responses. In this work, we study decision-aware query resolution under incomplete information, where a model must determine whether to Answer, Ask for clarification, or Abstain. We show that standard and enhanced RAG systems do not reliably exhibit such epistemic awareness, defaulting to answer generation even when information is insufficient. To address this, we propose PassiveQA, a three-action framework that aligns model behaviour with information sufficiency through supervised finetuning. Our approach integrates structured information-state representations, knowledge graph-grounded context, and a finetuned planner that explicitly models missing variables and decision reasoning. Experiments across multiple QA datasets show that the finetuned planner achieves significant improvements in macro F1 and abstention recall while reducing hallucination rates, under a compute-constrained training regime. These results provide strong empirical evidence that epistemic decision-making must be learned during training rather than imposed at inference time.
- Abstract(参考訳): 大規模言語モデル (LLM) は質問応答および検索拡張生成 (RAG) において高い性能を達成しているが、ユーザクエリが完全に指定され、応答可能であることを暗黙的に仮定している。
現実の環境では、クエリはしばしば不完全、曖昧、あるいは重要な変数が欠落し、モデルが過度に自信または幻覚的な応答を生成する。
本研究では,不完全情報に基づく問合せの解法について検討し,解答・解答・解答・解答・解答について検討する。
標準的なRAGシステムは,情報が不十分な場合でも,その認識を確実に示さないことを示し,応答生成をデフォルトとする。
そこで本研究では,モデル動作を教師付き微調整による情報充実度に整合させる3つのアクション・フレームワークであるPassiveQAを提案する。
提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
複数のQAデータセットにまたがる実験により、微調整プランナーは、計算制約付きトレーニング体制の下で、幻覚率を低減しつつ、マクロF1と無視リコールの大幅な改善を達成している。
これらの結果は、推論時に課せられるのではなく、トレーニング中に疫学的な意思決定を学ばなければならないという強い実証的証拠を提供する。
関連論文リスト
- Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。
我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。
幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
論文 参考訳(メタデータ) (2026-02-04T18:39:58Z) - Think First, Assign Next (ThiFAN-VQA): A Two-stage Chain-of-Thought Framework for Post-Disaster Damage Assessment [0.0]
災害時における視覚的質問応答(VQA)のための2段階推論に基づくフレームワークであるThiFAN-VQAを提案する。
カスタム情報検索システム、ドメイン固有のプロンプト、推論誘導型回答選択を統合することで、ThiFAN-VQAはゼロショットと教師付きメソッドのギャップを埋める。
FloodNetとRescueNet-VQAの実験は、洪水やハリケーンに影響を受けた地域のUAVベースのデータセットで、ThiFAN-VQAがより優れた精度、解釈可能性、適応性を実現することを実証している。
論文 参考訳(メタデータ) (2025-11-24T14:32:07Z) - LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
不確実性を伴う長文生成(LoGU)の課題について紹介する。
不確実性抑制と不確実性誤認の2つの主要な課題を特定します。
当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。
提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
論文 参考訳(メタデータ) (2024-10-18T09:15:35Z) - R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。