論文の概要: More Robots are Coming: Large Multimodal Models (ChatGPT) can Solve Visually Diverse Images of Parsons Problems

• arxiv url: http://arxiv.org/abs/2311.04926v1
• Date: Fri, 3 Nov 2023 14:47:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-12 19:21:52.022963
• Title: More Robots are Coming: Large Multimodal Models (ChatGPT) can Solve Visually Diverse Images of Parsons Problems
• Title（参考訳）: 大規模マルチモーダルモデル(ChatGPT)は、パーソンズの問題を視覚的に多様な画像で解決できる
• Authors: Irene Hou, Owen Man, Sophie Mettille, Sebastian Gutierrez, Kenneth Angelikas, Stephen MacNeil
• Abstract要約: 視覚的代入に基づく2つの大規模マルチモーダルモデルの性能評価を行った。 GPT-4Vはこれらの視覚的問題の96.7%を解決し、1つのパーソンズの問題を最小限に解決した。 バードは69.2%の問題を解き、幻覚や拒絶といった一般的な問題に悩まされた。
• 参考スコア（独自算出の注目度）: 0.4660328753262075
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The advent of large language models is reshaping computing education. Recent research has demonstrated that these models can produce better explanations than students, answer multiple-choice questions at or above the class average, and generate code that can pass automated tests in introductory courses. These capabilities have prompted instructors to rapidly adapt their courses and assessment methods to accommodate changes in learning objectives and the potential for academic integrity violations. While some scholars have advocated for the integration of visual problems as a safeguard against the capabilities of language models, new multimodal language models now have vision and language capabilities that may allow them to analyze and solve visual problems. In this paper, we evaluate the performance of two large multimodal models on visual assignments, with a specific focus on Parsons problems presented across diverse visual representations. Our results show that GPT-4V solved 96.7\% of these visual problems, struggling minimally with a single Parsons problem. Conversely, Bard performed poorly by only solving 69.2\% of problems, struggling with common issues like hallucinations and refusals. These findings suggest that merely transitioning to visual programming problems might not be a panacea to issues of academic integrity in the generative AI era.
• Abstract（参考訳）: 大規模言語モデルの出現は、コンピューティング教育の変革である。 近年の研究では、これらのモデルが生徒よりも優れた説明を生み出し、クラス平均以上で複数の質問に答え、入門コースで自動テストに合格するコードを生成することが示されている。 これらの能力はインストラクターに、学習目標の変化と学術的完全性違反の可能性に対応するために、コースと評価方法を迅速に適応させるよう促した。 言語モデルの能力に対する保護として視覚問題の統合を提唱する研究者もいるが、新しいマルチモーダル言語モデルには視覚と言語機能があり、視覚問題を解析して解決できる可能性がある。 本稿では,視覚的代入に対する2つの大規模マルチモーダルモデルの性能評価を行い,多様な視覚的表現にまたがるパーソンズ問題に着目した。 その結果、gpt-4vは1つのパーソンズ問題で最小に苦労し、これらの視覚問題の96.7\%を解決した。 逆に、バードは69.2\%の問題を解き、幻覚や拒絶といった一般的な問題に悩まされた。 これらの結果は、単に視覚プログラミングの問題に移行することは、生成的AI時代の学術的完全性の問題へのパナセアではないことを示唆している。

関連論文リスト

• Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
  本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。 我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
  論文  参考訳（メタデータ） (2024-07-06T15:07:32Z)
• Multi-qubit state visualizations to support problem solving $-$ a pilot study [1.8879980022743639]
  数式-記号的ディラック表記法を単独で用いた場合, 学生のパフォーマンス, 時間, 認知負荷を, 単ビット系および多ビット系における円表記法や次元円表記法と組み合わせて比較した。 学生のパフォーマンスの全体的な違いは、提示された表現によってほとんど検出できないが、問題解決性能は学生に依存し、文脈に依存していることを観察する。
  論文  参考訳（メタデータ） (2024-06-24T11:46:35Z)
• CogCoM: Train Large Vision-Language Models Diving into Details through Chain of Manipulations [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• Multimodal Analysis Of Google Bard And GPT-Vision: Experiments In Visual Reasoning [0.0]
  我々は、Google BardとGPT-Visionを、"Visual situational Reasoning"や"Next Scene Prediction"といったカテゴリにまたがる64の視覚タスクに適用する。 本研究の結果は,視覚言語モデルの限界を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-08-17T03:14:00Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。