論文の概要: Judge Before Answer: Can MLLM Discern the False Premise in Question?

• arxiv url: http://arxiv.org/abs/2510.10965v1
• Date: Mon, 13 Oct 2025 03:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.177013
• Title: Judge Before Answer: Can MLLM Discern the False Premise in Question?
• Title（参考訳）: 裁判長:MLLMは偽の前提を疑問視できるのか?
• Authors: Jidong Li, Lingyong Fang, Haodong Zhao, Sufeng Duan, Gongshen Liu,
• Abstract要約: 疑似前提問題のベンチマークを構築するために,完全に自動化されたパイプラインを導入する。 本手法は,施設の特定に必要な能力に応じて,施設を3つの主要タイプと13のサブタイプに体系的に分類する。 本ベンチマークに基づいて,MLLMの強靭性を強化し,虚偽の前提を検出するための認識強化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.885479447650123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have witnessed astonishing advancements in recent years. Despite these successes, MLLMs remain vulnerable to flase premise problems. However, existing benchmarks targeting this issue are limited in scope: they often lack fine-grained categorization, exhibit insufficient coverage, and thus fail to provide a rigorous evaluation of the ability of models to recognize false premises. To bridge this gap, we introduce a fully automated pipeline for constructing a comprehensive benchmark of false premise questions. Our method systematically categorizes the premises into three main types and thirteen subtypes according to the abilities required to identify the premises, resulting in the JBA dataset.Results show current MLLMs still struggle with false premise recognition. Building upon this benchmark, we further propose a recognition enhancement framework tailored to strengthen the robustness of MLLMs to detect false premises. Extensive experiments demonstrate that models trained with our framework achieve significant improvements in false premise recognition.
• Abstract（参考訳）: MLLM(Multimodal large language model)は近年、驚くべき進歩を遂げている。 これらの成功にもかかわらず、MLLMは偽の前提問題に弱いままである。 しかし、この問題を対象とする既存のベンチマークの範囲は限られており、細かな分類を欠くことが多く、カバー範囲が不十分であり、従ってモデルが偽の前提を認識できるという厳密な評価が得られていない。 このギャップを埋めるために、偽の前提問題の総合的なベンチマークを構築するために、完全に自動化されたパイプラインを導入します。 提案手法は, 前提を同定するために必要な能力に応じて, 前提を3つの主要タイプと13のサブタイプに体系的に分類し, JBAデータセットを作成した。 さらに,このベンチマークに基づいて,MLLMの強靭性を強化し,偽の前提を検出するための認識強化フレームワークを提案する。 大規模な実験により、我々のフレームワークで訓練されたモデルは、偽の前提認識において大幅に改善されることが示された。

関連論文リスト

• ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering [3.131352561462676]
  大規模言語モデル(LLM)は、現実的な質問応答が可能なAIシステムの開発に寄与している。 難解な質問が提示されたとき、LSMの堅牢性をテストする既知の研究はない。 本稿では,多層難読化レベルのフレームワークであるObfusQAを紹介し,LLMの能力について検討する。
  論文  参考訳（メタデータ） (2025-08-10T12:27:52Z)
• Hidden in Plain Sight: Reasoning in Underspecified and Misspecified Scenarios for Multimodal LLMs [28.913007638707427]
  マルチモーダルな大規模言語モデル(MLLM)は、オープンエンドの現実世界の環境にますます多くデプロイされている。 本稿では,現在のMLLMが暗黙の推論シナリオをどのように扱うのかを体系的に分析する。 モデルは、必要な知覚と推論スキルを持っている場合でも、隠れた問題にしばしば遭遇しない。
  論文  参考訳（メタデータ） (2025-05-30T21:47:28Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models [45.63440666848143]
  MLLM(Multimodal Large Language Models)は、様々なモダリティの統合において顕著な進歩を見せている。 彼らの成功にもかかわらず、MLLMは会話の敵対的な入力に弱いままである。 我々は,最初に正しい回答を提供するモデルが,ユーザが提供する否定によってそのアウトプットを逆転するように説得される現象であるガスライティング否定攻撃について検討する。
  論文  参考訳（メタデータ） (2025-01-31T10:37:48Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners [10.746821861109176]
  大型言語モデル(LLM)は、ロボットタスクのためのゼロショットタスクプランナーとして、目覚ましいパフォーマンスをみせている。 しかし、以前の研究のオープンループの性質は、LSMベースの計画がエラーを起こしやすく、脆弱である。 本研究では,不確実性に基づくMLLM故障検出装置をベースとした,閉ループLLMに基づくKnowLoop計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:52:06Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。