論文の概要: A Systematic Benchmark for Evaluating Multimodal Personalized Reasoning of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.06259v1
- Date: Wed, 04 Nov 2026 10:08:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.050934
- Title: A Systematic Benchmark for Evaluating Multimodal Personalized Reasoning of Vision-Language Models
- Title（参考訳）: 視覚言語モデルのマルチモーダルパーソナライズ推論評価のためのシステムベンチマーク
- Abstract要約: パーソナライズされた推論を評価するための新鮮で包括的なベンチマークである textttMPRBench を紹介する。
MPRBenchは12のサブタスクで構成され、また代表的エラーケースの解釈可能な解析をサポートする。
現在、パーソナライズされたMLLMは、いくつかの重要な課題のためにパーソナライズされた推論に苦戦している。
- 参考スコア（独自算出の注目度）: 6.999019073551199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: People often make decisions by holistically reasoning over heterogeneous forms of personal information. In this paper, we study the relatively underexplored capability of multimodal personalized reasoning in multimodal large language models (MLLMs). To this end, we introduce \texttt{MPRBench}, a novel and comprehensive benchmark specifically designed to evaluate personalized reasoning across a wide range of tasks and real-world challenges. \texttt{MPRBench} consists of 12 sub-tasks and additionally supports interpretable analysis of representative error cases. Through extensive experiments, we find that current personalized MLLMs still struggle with personalized reasoning due to several key challenges, including inaccurate recognition of personalized concepts and sensitivity to irrelevant personal information. We hope that MPRBench will stimulate further research on personalized reasoning in MLLMs. Code and data are available at https://github.com/kkdh15/MPRBench
- Abstract（参考訳）: 人々はしばしば、異質な個人情報をホモロジーに推論することで決定する。
本稿では,多モーダル大規模言語モデル(MLLM)における多モーダルパーソナライズ推論の比較的過小評価された能力について検討する。
この目的のために,さまざまなタスクや実世界の課題に対してパーソナライズされた推論を評価するために設計された,新規かつ包括的なベンチマークである‘texttt{MPRBench} を紹介した。
texttt{MPRBench} は12のサブタスクから構成され、また代表的エラーケースの解釈可能な解析をサポートする。
大規模な実験を通じて、現在のパーソナライズされたMLLMは、パーソナライズされた概念の不正確な認識や、無関係な個人情報に対する感受性など、いくつかの重要な課題により、パーソナライズされた推論に苦慮していることがわかった。
我々は,MPRBenchがMLLMにおけるパーソナライズ推論のさらなる研究を促進することを期待している。
コードとデータはhttps://github.com/kkdh15/MPRBenchで公開されている。
関連論文リスト
- Seek-and-Solve: Benchmarking MLLMs for Visual Clue-Driven Reasoning in Daily Scenarios [56.703500104126014]
DailyClueは、日々のシナリオで視覚的な手がかり駆動推論のために設計されたベンチマークである。
本研究は,(1) 日常活動の厳格化,(2) 問合せ設計の課題,という2つの基本原則で導かれる。
本分析は,視覚的手がかりの正確な同定が堅牢な推論に不可欠であることを強調し,いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2026-04-15T16:22:10Z) - Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。
既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。
我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
論文 参考訳（メタデータ） (2026-02-12T03:10:02Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。
これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。
ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
論文 参考訳（メタデータ） (2025-04-21T17:59:53Z) - MDK12-Bench: A Multi-Discipline Benchmark for Evaluating Reasoning in Multimodal Large Language Models [50.43793764203352]
実世界のK-12試験を通してMLLMの推論能力を評価する多分野ベンチマークであるMDK12-Benchを紹介する。
本ベンチマークは,小学校から12年生までの様々な難易度にまたがる140Kの推論事例からなる。
6,827のインスタンスレベルの知識ポイントアノテーションが,十分に整理された知識構造,詳細な回答説明,難易度ラベル,年次分割に基づいている。
論文 参考訳（メタデータ） (2025-04-08T08:06:53Z) - VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。
それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。
本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
論文 参考訳（メタデータ） (2025-03-14T16:26:11Z) - Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。
本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
論文 参考訳（メタデータ） (2024-12-03T03:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。