論文の概要: MoHoBench: Assessing Honesty of Multimodal Large Language Models via Unanswerable Visual Questions

• arxiv url: http://arxiv.org/abs/2507.21503v1
• Date: Tue, 29 Jul 2025 04:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.66553
• Title: MoHoBench: Assessing Honesty of Multimodal Large Language Models via Unanswerable Visual Questions
• Title（参考訳）: MoHoBench: 解決不可能な視覚的質問を通じて、マルチモーダルな大規模言語モデルの正直性を評価する
• Authors: Yanxu Zhu, Shitong Duan, Xiangxu Zhang, Jitao Sang, Peng Zhang, Tun Lu, Xiao Zhou, Jing Yao, Xiaoyuan Yi, Xing Xie,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいてかなりの進歩を遂げているが、潜在的に有害または不信なコンテンツを生成する。 言語モデルの信頼性を調査するかなりの努力にもかかわらず、MMLMが正直に行動する能力、特に視覚的に理解できない問題に直面した場合、ほとんど探索されていない。 そこで本研究では,探索不能な視覚的質問に対するモデルの応答挙動を誠実に把握し,その4つの代表型を定義し,大規模MMLMの正直なベンチマークであるMoHoBenchを構築した。
• 参考スコア（独自算出の注目度）: 44.544440624936804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently Multimodal Large Language Models (MLLMs) have achieved considerable advancements in vision-language tasks, yet produce potentially harmful or untrustworthy content. Despite substantial work investigating the trustworthiness of language models, MMLMs' capability to act honestly, especially when faced with visually unanswerable questions, remains largely underexplored. This work presents the first systematic assessment of honesty behaviors across various MLLMs. We ground honesty in models' response behaviors to unanswerable visual questions, define four representative types of such questions, and construct MoHoBench, a large-scale MMLM honest benchmark, consisting of 12k+ visual question samples, whose quality is guaranteed by multi-stage filtering and human verification. Using MoHoBench, we benchmarked the honesty of 28 popular MMLMs and conducted a comprehensive analysis. Our findings show that: (1) most models fail to appropriately refuse to answer when necessary, and (2) MMLMs' honesty is not solely a language modeling issue, but is deeply influenced by visual information, necessitating the development of dedicated methods for multimodal honesty alignment. Therefore, we implemented initial alignment methods using supervised and preference learning to improve honesty behavior, providing a foundation for future work on trustworthy MLLMs. Our data and code can be found at https://github.com/DSTTSD/MoHoBench.
• Abstract（参考訳）: 近年、MLLM(Multimodal Large Language Models)は視覚言語タスクの大幅な進歩を遂げているが、潜在的に有害あるいは不信なコンテンツを生成している。 言語モデルの信頼性を調査するかなりの努力にもかかわらず、MMLMが正直に行動する能力、特に視覚的に理解できない問題に直面した場合、ほとんど探索されていない。 本研究は,MLLM間での誠実行動の体系的評価を初めて行った。 提案手法は,探索不能な視覚的質問に対するモデルの応答行動に忠実に対応し,これらの質問の代表的なタイプを4つ定義し,多段階フィルタリングと人間の検証によって品質が保証される12k以上の視覚的質問サンプルからなる大規模MMLM正直なベンチマークであるMoHoBenchを構築した。 MoHoBenchを用いて,28種類のMMLMの正当性をベンチマークし,総合解析を行った。 2)MMLMの誠実さは単に言語モデリングの問題ではなく、視覚情報の影響を深く受けており、マルチモーダルな誠実なアライメントのための専用手法の開発を必要としている。 そこで我々は,教師付きおよび選好学習を用いた初期アライメント手法を導入し,誠実な行動を改善するとともに,信頼性の高いMLLMの今後の研究基盤を提供する。 我々のデータとコードはhttps://github.com/DSTTSD/MoHoBench.comで確認できます。

関連論文リスト

• A Survey on Benchmarks of Multimodal Large Language Models [65.87641718350639]
  本稿では,Multimodal Large Language Models (MLLM) のベンチマークと評価について概説する。 本研究では,(1)知覚と理解,(2)認知と推論,(3)特定のドメイン,(4)キー能力,(5)他のモダリティに着目した。 我々のキーとなる主張は、MLLMの開発をより良いものにするための重要な規律として評価されるべきである、ということである。
  論文  参考訳（メタデータ） (2024-08-16T09:52:02Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
  本稿では,視覚質問応答(VQA)問題におけるバイアスを解釈するための因果的枠組みを提案する。 マルチホップ推論を必要とする12,000の挑戦VQAインスタンスを備えた新しいデータセットを導入する。 実験の結果, MLLMはMOREに悪影響を及ぼし, 強い一方向偏差と限定的な意味理解を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-27T08:38:49Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。