論文の概要: Human-Aligned Bench: Fine-Grained Assessment of Reasoning Ability in MLLMs vs. Humans

• arxiv url: http://arxiv.org/abs/2505.11141v1
• Date: Fri, 16 May 2025 11:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.794917
• Title: Human-Aligned Bench: Fine-Grained Assessment of Reasoning Ability in MLLMs vs. Humans
• Title（参考訳）: ヒューマンアライメントベンチ:MLLMと人間との共振能力の微粒化評価
• Authors: Yansheng Qiu, Li Xiao, Zhaopan Xu, Pengfei Zhou, Zheng Wang, Kaipeng Zhang,
• Abstract要約: マルチモーダル推論と人的パフォーマンスのアライメントのためのベンチマークであるHuman-Aligned Benchを提案する。 両言語(中国語と英語)の多モーダル質問や純粋テキストベースの質問など、文脈的推論のみに依存する9,794の多モーダル質問を収集した。 マルチモーダル推論におけるMLLMの性能と人為的性能との間には顕著な違いがある。
• 参考スコア（独自算出の注目度）: 9.315735862658244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of achieving Artificial General Intelligence (AGI) is to imitate humans and surpass them. Models such as OpenAI's o1, o3, and DeepSeek's R1 have demonstrated that large language models (LLMs) with human-like reasoning capabilities exhibit exceptional performance and are being gradually integrated into multimodal large language models (MLLMs). However, whether these models possess capabilities comparable to humans in handling reasoning tasks remains unclear at present. In this paper, we propose Human-Aligned Bench, a benchmark for fine-grained alignment of multimodal reasoning with human performance. Specifically, we collected 9,794 multimodal questions that solely rely on contextual reasoning, including bilingual (Chinese and English) multimodal questions and pure text-based questions, encompassing four question types: visual reasoning, definition judgment, analogical reasoning, and logical judgment. More importantly, each question is accompanied by human success rates and options that humans are prone to choosing incorrectly. Extensive experiments on the Human-Aligned Bench reveal notable differences between the performance of current MLLMs in multimodal reasoning and human performance. The findings on our benchmark provide insights into the development of the next-generation models.
• Abstract（参考訳）: AGI(Artificial General Intelligence)の目標は、人間を模倣し、それを克服することである。 OpenAIのo1、o3、DeepSeekのR1のようなモデルでは、人間のような推論能力を持つ大きな言語モデル(LLM)が例外的な性能を示し、徐々にマルチモーダルな言語モデル(MLLM)に統合されることを示した。 しかしながら、これらのモデルが推論タスクを扱う際に人間に匹敵する能力を持っているかどうかはまだ不明である。 本稿では,マルチモーダル推論と人間のパフォーマンスを微調整するベンチマークであるHuman-Aligned Benchを提案する。 具体的には、バイリンガル(中国語と英語)の多モーダル質問や純粋テキストベースの質問など、文脈的推論のみに依存する9,794の多モーダル質問を収集し、視覚的推論、定義判断、類似的推論、論理的判断の4つの質問タイプを網羅した。 さらに重要なのは、それぞれの質問には、人間が誤って選択する傾向にある人間の成功率とオプションが伴っていることだ。 マルチモーダル推論におけるMLLMの性能と人為的性能との間には顕著な違いがある。 ベンチマークの結果は、次世代モデルの開発に関する洞察を与えてくれる。

関連論文リスト

• Empirically evaluating commonsense intelligence in large language models with large-scale human judgments [4.7206754497888035]
  本稿では,人工知能における常識を評価する新しい手法を提案する。 モデルの判断と人口の対応を計測する。 私たちのフレームワークは、異なる、しばしば互換性のない、知識の社会的備蓄を持つ人間の集合体にAIモデルを適用することの要求に寄与します。
  論文  参考訳（メタデータ） (2025-05-15T13:55:27Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Giving AI Personalities Leads to More Human-Like Reasoning [7.124736158080938]
  我々は,人間集団の多様な推論行動を模倣するAIの可能性について検討する。 自然言語推論(NLI)フォーマットを新たに一般化した推論タスクを設計した。 我々は、人格特性を反映したAI応答を誘発するために、ビッグファイブのパーソナリティモデルにインスパイアされたパーソナリティベースのプロンプトを用いた。
  論文  参考訳（メタデータ） (2025-02-19T23:51:23Z)
• Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models [2.9312156642007294]
  我々は、意思決定バイアス、推論、創造性の3つの重要な認知領域にわたって、大規模言語モデルの能力を体系的にレビューする。 意思決定では、LSMはいくつかの人間のようなバイアスを示すが、人間の観察するバイアスは欠落している。 GPT-4のような先進的なLCMは、人間のシステム2思考に似た熟考的推論を示し、小さなモデルは人間レベルの性能に欠ける。 LLMはストーリーテリングのような言語ベースの創造的なタスクに優れているが、現実の文脈を必要とする散発的な思考タスクに苦労する。
  論文  参考訳（メタデータ） (2024-12-20T02:26:56Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
  本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。 人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。 私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T11:18:41Z)
• MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
  心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。 最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。 一方、ヒューマンToMはビデオやテキストの理解以上のものです。 人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
  論文  参考訳（メタデータ） (2024-01-16T18:59:24Z)
• ACQUIRED: A Dataset for Answering Counterfactual Questions In Real-Life Videos [53.92440577914417]
  ACQUIREDは3.9Kの注釈付きビデオで構成され、幅広いイベントタイプを包含し、ファーストパーソンとサードパーソンの両方の視点を取り入れている。 各ビデオは、物理的、社会的、時間的な3つの異なる推論の次元にまたがる質問で注釈付けされている。 我々は,現在最先端の言語のみおよびマルチモーダルモデルに対して,我々のデータセットをベンチマークし,実験結果から大きな性能差が示された。
  論文  参考訳（メタデータ） (2023-11-02T22:17:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。