論文の概要: PuzzleVQA: Diagnosing Multimodal Reasoning Challenges of Language Models with Abstract Visual Patterns

• arxiv url: http://arxiv.org/abs/2403.13315v2
• Date: Tue, 30 Apr 2024 23:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 17:55:26.302883
• Title: PuzzleVQA: Diagnosing Multimodal Reasoning Challenges of Language Models with Abstract Visual Patterns
• Title（参考訳）: PuzzleVQA:抽象的な視覚パターンを持つ言語モデルのマルチモーダル推論課題の診断
• Authors: Yew Ken Chia, Vernon Toh Yan Han, Deepanway Ghosal, Lidong Bing, Soujanya Poria,
• Abstract要約: 基本概念に基づいた抽象パターンを用いた大規模マルチモーダルモデルの評価を行った。 単純な抽象パターンをうまく一般化できないことが分かりました。 系統解析の結果, GPT-4Vの主なボトルネックは視覚知覚の弱さと誘導的推論能力であることがわかった。
• 参考スコア（独自算出の注目度）: 69.17409440805498
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large multimodal models extend the impressive capabilities of large language models by integrating multimodal understanding abilities. However, it is not clear how they can emulate the general intelligence and reasoning ability of humans. As recognizing patterns and abstracting concepts are key to general intelligence, we introduce PuzzleVQA, a collection of puzzles based on abstract patterns. With this dataset, we evaluate large multimodal models with abstract patterns based on fundamental concepts, including colors, numbers, sizes, and shapes. Through our experiments on state-of-the-art large multimodal models, we find that they are not able to generalize well to simple abstract patterns. Notably, even GPT-4V cannot solve more than half of the puzzles. To diagnose the reasoning challenges in large multimodal models, we progressively guide the models with our ground truth reasoning explanations for visual perception, inductive reasoning, and deductive reasoning. Our systematic analysis finds that the main bottlenecks of GPT-4V are weaker visual perception and inductive reasoning abilities. Through this work, we hope to shed light on the limitations of large multimodal models and how they can better emulate human cognitive processes in the future (Our data and code will be released publicly at https://github.com/declare-lab/LLM-PuzzleTest).
• Abstract（参考訳）: 大規模なマルチモーダルモデルは、多モーダル理解能力を統合することで、大きな言語モデルの印象的な能力を拡張します。 しかし、人間の一般的な知性と推論能力をどのようにエミュレートできるかは明らかではない。 パターン認識と抽象概念が汎用知能の鍵となるため,抽象パターンに基づくパズルの集合であるPuzzleVQAを導入する。 本データセットでは,色,数,サイズ,形状などの基本概念に基づいた抽象パターンを用いた大規模マルチモーダルモデルの評価を行う。 最先端の大規模マルチモーダルモデルに関する我々の実験により、単純な抽象パターンに対してうまく一般化できないことが判明した。 特に、GPT-4Vでもパズルの半分以上は解けない。 大規模マルチモーダルモデルにおける推論の課題を診断するために、視覚的知覚、帰納的推論、帰納的推論の説明を根拠として、モデルを段階的にガイドする。 系統分析の結果, GPT-4Vの主なボトルネックは視覚知覚の弱さと誘導的推論能力であることがわかった。 この作業を通じて、大規模なマルチモーダルモデルの限界と、将来的には人間の認知プロセスをよりうまくエミュレートする方法について、光を当てたいと思っています(私たちのデータとコードはhttps://github.com/declare-lab/LLM-PuzzleTestで公開されます)。

関連論文リスト

• Smart Vision-Language Reasoners [0.0]
  視覚言語モデル(VLM)を推論として検討する。 抽象化を形成する能力は、数学的推論、問題解決、その他のMath AIタスクの根底にある。 SMARTタスクで与えられた抽象概念を8軸のメタ推論と問題解決のスキルとして採用する。
  論文  参考訳（メタデータ） (2024-07-05T01:47:21Z)
• Whiteboard-of-Thought: Thinking Step-by-Step Across Modalities [30.96613796974929]
  マルチモーダルな大言語モデルの視覚的推論能力を解き放つための簡単な手法を提案する。 ホワイトボード・オブ・シークレットはモデルに比喩的なホワイトボードを提供し、画像として推論ステップを引き出す。 この単純なアプローチは、4つの難しい自然言語タスクに関する最先端の結果を示す。
  論文  参考訳（メタデータ） (2024-06-20T17:59:45Z)
• Brainstorming Brings Power to Large Language Models of Knowledge Reasoning [17.14501985068287]
  大規模言語モデル(LLM)は、言語生成、テキスト理解、知識推論において驚くべき能力を示した。 近年の研究では、多モデルコラボレーションの導入により、幅広いタスクにおけるモデルの推論能力が向上している。 本稿では,インプットに基づくマルチモデルブレインストーミングを提案する。ブレインストーミングのためのグループに,複数の推論と再推論のラウンドを組み込んだ結果,コンセンサスな回答が得られた。
  論文  参考訳（メタデータ） (2024-06-02T14:47:14Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• REBUS: A Robust Evaluation Benchmark of Understanding Symbols [1.90463290938268]
  GPT-4oは他の全てのモデルよりも大幅に優れ、続いてプロプライエタリなモデルも他の評価モデルよりも優れていた。 最高のモデルでさえ、最終的な精度はわずか42%で、ハードパズルでは7%に低下する。 したがって、我々のベンチマークは、マルチモーダルな大言語モデルの知識と推論における大きな欠点を特定するのに利用できる。
  論文  参考訳（メタデータ） (2024-01-11T00:30:28Z)
• BRAINTEASER: Lateral Thinking Puzzles for Large Language Models [15.95314613982879]
  BRAINTEASERは、横方向の思考を示すモデルの能力をテストするために設計された多重選択質問回答タスクである。 最先端のインストラクションとコモンセンス言語モデルを用いた実験により,人間とモデルの性能の間に大きなギャップがあることが判明した。 横方向の思考モデルの開発と評価作業を促進するために、コードとデータをすべて利用可能にしています。
  論文  参考訳（メタデータ） (2023-10-08T07:46:01Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。