論文の概要: Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2606.05531v1
- Date: Thu, 04 Jun 2026 00:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.446878
- Title: Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models
- Title（参考訳）: Almieyar-Oryx-BloomBench:視覚言語モデルの認知的インフォームド評価のためのバイリンガルマルチモーダルベンチマーク
- Abstract要約: BloomBenchは、視覚言語モデルのための、認知的に人間的、バイリンガルな(英語-アラビア語)マルチモーダルベンチマークである。
我々は,その認知的プロファイルを診断するために最先端のVLMを研究した。
本研究は、アラビア語と英語における重要なパフォーマンスギャップを浮き彫りにして、現在の言語間多モーダル推論における限界を明らかにするものである。
- 参考スコア（独自算出の注目度）: 4.827220845523129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the rapid progress of Vision-Language Models (VLMs), the field lacks benchmarks that rigorously diagnose their true reasoning abilities and chart meaningful progress toward human-like multimodal intelligence. Most existing evaluations focus on piecemeal or disconnected tasks, obscuring critical cognitive weaknesses and providing little insight for targeted improvement. To address this gap, we introduce BloomBench, part of the Almieyar benchmarking series, the first cognitively human-grounded, bilingual (English-Arabic) multimodal benchmark for VLMs. Grounded in Bloom's Taxonomy, BloomBench systematically evaluates six levels of cognition (Remember, Understand, Apply, Analyze, Evaluate, Create) through carefully designed image-question-answer tasks. Built with a semi-automated pipeline and validated through a stratified hybrid quality assurance protocol, it ensures scalability, cultural inclusivity, and linguistic fidelity. Leveraging this framework, we conduct a comprehensive study of state-of-the-art VLMs to diagnose their cognitive profiles. Our analysis reveals a sharp cognitive asymmetry: while state-of-the-art models achieve strong performance ceilings in semantic understanding, they struggle substantially with factual recall and creative synthesis. This demonstrates that current general multimodal proficiency masks deeper limitations in specific cognitive layers. Furthermore, our study highlights a critical performance gap between Arabic and English, exposing limitations in current cross-lingual multimodal reasoning. These findings establish a foundation for developing more cognitively aligned and inclusive VLMs. The benchmark framework and dataset is available at: https://github.com/qcri/Almieyar-Oryx-BloomBench.
- Abstract（参考訳）: VLM(Vision-Language Models)の急速な進歩にもかかわらず、この分野は、真の推論能力の厳格な診断と、人間のようなマルチモーダルインテリジェンスへの有意義な進歩を示すベンチマークを欠いている。
既存の評価のほとんどは、断片的または非連結的なタスクに焦点を当て、批判的な認知の弱点を隠蔽し、目標とする改善の洞察をほとんど与えない。
このギャップに対処するため、VLMのための最初の認知的人間によるバイリンガル(英語-アラビア語)マルチモーダルベンチマークであるAlmieyarベンチマークシリーズの一部であるBloomBenchを紹介した。
ブルームベンチはブルームの分類学に基づいて、6段階の認知(記憶、理解、応用、分析、評価、創造)を慎重にデザインされた画像検索タスクを通して体系的に評価している。
半自動パイプラインで構築され、階層化されたハイブリッド品質保証プロトコルを通じて検証される。
この枠組みを活用することで、認知的プロファイルを診断するために最先端のVLMを包括的に研究する。
我々の分析は、最先端のモデルが意味理解において強いパフォーマンス天井を達成する一方で、事実のリコールや創造的な合成にかなり苦労している、という鋭い認知的非対称性を明らかにしている。
これは、現在の一般的なマルチモーダル習熟度マスクが特定の認知層のより深い制限を覆っていることを示している。
さらに,アラビア語と英語の間には重要なパフォーマンスギャップがあり,言語間多モーダル推論の限界が明らかになっている。
これらの知見は、より認知的に整合し包括的VLMを開発するための基盤を確立する。
ベンチマークフレームワークとデータセットは、https://github.com/qcri/Almieyar-Oryx-BloomBench.comで公開されている。
関連論文リスト
- Comprehensive Evaluation of Large Language Model Responses: A Multi-Factor Scoring System [0.0]
本研究では, 精度, 簡潔性, 事実整合性, 可読性, コヒーレンスといった多要素スコアリングのパラダイムを導入する。
TruthfulQAデータセットの評価は、推論タスクにおける主要なLLMの強みを浮き彫りにした。
この研究は、知識工学とモデル改良のための新しい道を開く。
論文 参考訳（メタデータ） (2026-07-08T03:10:33Z) - Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis [63.49939245944781]
我々は1100万の質問と0.28万の画像を含む総合的なきめ細かい評価ベンチマークであるFG-BMKを紹介する。
現在のLVLMは、視覚的表現、セマンティックグラウンドディング、モダリティアライメント、カテゴリーレベルの知識において、相互に絡み合ったボトルネックから生じる障害を伴って、微粒化認識器が不十分なままである。
論文 参考訳（メタデータ） (2026-06-17T13:23:26Z) - Toward Cognitive Supersensing in Multimodal Large Language Model [67.15559571626747]
我々は,MLLMに人間のような視覚的特徴を付与する訓練パラダイムであるCognitive Supersensingを紹介する。
実験では、CogSense-BenchでCognitive Supersensingを訓練したMLLMが、最先端のベースラインを大きく上回った。
私たちはCogSense-Benchとモデルウェイトをオープンソースにします。
論文 参考訳（メタデータ） (2026-02-02T02:19:50Z) - Beyond Generation: Multi-Hop Reasoning for Factual Accuracy in Vision-Language Models [0.0]
ビジュアル言語モデル(VLM)は強力な生成ツールであるが、しばしば事実的に正確な出力を生成する。
本研究は、知識誘導推論のためのフレームワークをVLMで導入し、マルチホップ検証に構造化知識グラフを活用する。
本研究では,階層的・三点的・三点的・三点的・三点的知識表現を用いた枠組みの評価を行い,実効性と論理的推論性について分析した。
論文 参考訳（メタデータ） (2025-11-25T17:34:32Z) - Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective [53.594353527056775]
我々は,大言語モデル(LLM)を評価するために,中国語コモンセンスマルチホップ推論(CCMOR)を提案する。
CCMORは、中国固有の事実知識と多段階論理的推論を統合するLLMの能力を評価するように設計されている。
提案手法では,提案手法を用いて,提案手法の検証と検証を行う。
論文 参考訳（メタデータ） (2025-10-09T20:29:00Z) - From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models [66.36007274540113]
MLLM(Multimodal Large Language Models)は、物理的世界に対する深い人間的な理解と相互作用を達成するための試みである。
情報取得(知覚)や推論(認知)を行う際、しばしば浅く不整合な統合を示す。
この調査では、新しい統合分析フレームワーク「知覚から認知へ」を紹介した。
論文 参考訳（メタデータ） (2025-09-29T18:25:40Z) - CogBench: A Large Language Model Benchmark for Multilingual Speech-Based Cognitive Impairment Assessment [23.1730341293796]
音声に基づく認知障害評価のための大規模言語モデルの言語間およびサイト間一般化性を評価するための最初のベンチマークであるCagBenchを提案する。
以上の結果から,従来のディープラーニングモデルはドメイン間で変換されると大幅に劣化することがわかった。
本研究は,臨床的に有用で言語学的に堅牢な音声に基づく認知評価ツールを構築するための重要なステップを提供する。
論文 参考訳（メタデータ） (2025-08-05T12:06:16Z) - HiLa: Hierarchical Vision-Language Collaboration for Cancer Survival Prediction [55.00788339683146]
生存予測を改善するための新しい階層型視覚・言語協調フレームワークを提案する。
具体的には、HiLaは事前訓練された特徴抽出器を使用して、パッチレベルとリージョンレベルの両方でWSIから階層的な視覚的特徴を生成する。
このap-proachは、プロンプトから異なる生存関連属性に対応する識別的視覚特徴の包括的学習を可能にする。
論文 参考訳（メタデータ） (2025-07-07T02:06:25Z) - Caption This, Reason That: VLMs Caught in the Middle [3.4820139118440676]
VLM(Vision-Language Models)は近年,視覚的理解の進歩を目覚ましいものにしている。
カウントやリレーショナル推論といった視覚的なタスクでは、人間の能力が遅れている。
認識,注意,記憶など,コア認知軸に沿ったVLMのパフォーマンスを解析する。
論文 参考訳（メタデータ） (2025-05-24T14:25:48Z) - VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。
それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。
本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
論文 参考訳（メタデータ） (2025-03-14T16:26:11Z) - Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。
GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。
最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
論文 参考訳（メタデータ） (2025-02-23T04:21:32Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。