論文の概要: Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2406.09403v3
• Date: Mon, 11 Nov 2024 00:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:57.955082
• Title: Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models
• Title（参考訳）: Visual Sketchpad:マルチモーダル言語モデルのための思考の視覚的チェーンとしてのスケッチ
• Authors: Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna,
• Abstract要約: Sketchpadは、マルチモーダルLMにビジュアルスケッチパッドとスケッチパッドに描画するツールを提供するフレームワークである。 LMは、人間のスケッチに近い線、ボックス、マークなどを使って絵を描くことができ、推論をより容易にすることができる。 Sketchpadは、スケッチなしで強力なベースモデルよりも、すべてのタスクのパフォーマンスを大幅に改善する。
• 参考スコア（独自算出の注目度）: 139.9581209765338
• License:
• Abstract: Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.
• Abstract（参考訳）: 人間は推論を容易にするために、幾何学的問題を解決する際に補助線を描き、地図を推論する際に線をマークし、円を描き、スケッチを使ってアイデアを増幅し、限られた能力の作業記憶を緩和する。 しかし、そのような行動は現在のマルチモーダル言語モデル(LM)では欠落している。 現在のチェーン・オブ・シンクとツール・ユース・パラダイムは、中間的推論ステップとしてテキストのみを使用する。 本研究では,マルチモーダルLMにスケッチパッドを描画するためのビジュアルスケッチパッドとツールを提供するフレームワークであるSketchpadを紹介する。 LMは、描画した視覚的アーティファクトに従って、計画と推論を行います。 LMの描画を可能にするテキスト・ツー・イメージモデルを使用する以前の作業とは異なり、SketchpadはLMを人間のスケッチに近い線、ボックス、マークなどで描画し、推論を容易にする。 スケッチパッドはまた、スケッチ処理中に専門的な視覚モデル(例えば、オブジェクト検出モデルによる境界ボックスの描画、セグメンテーションモデルによるマスクの描画)を使用することで、視覚的知覚と推論をさらに強化することができる。 我々は、幾何学、関数、グラフ、チェスを含む幅広い数学タスクと複雑な視覚的推論タスクを実験した。 Sketchpadは、スケッチのない強力なベースモデルで全てのタスクのパフォーマンスを大幅に改善し、数学のタスクで平均12.7%、視覚タスクで平均8.6%向上した。 Sketchpad を使用した GPT-4o では、V*Bench (80.3%)、BLINK空間推論 (83.9%)、視覚対応 (80.8%) など、すべてのタスクに新たな最先端技術が設定されている。 すべてのコードとデータはhttps://visualsketchpad.github.io/にある。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
  本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。 私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
  論文  参考訳（メタデータ） (2024-03-12T01:05:25Z)
• SketchXAI: A First Look at Explainability for Human Sketches [104.13322289903577]
  本稿では,XAI(Explainable Artificial Intelligence)の風景に人間のスケッチを紹介する。 我々は、スケッチは人間中心のデータ形式であり、説明可能性を研究するための自然なインターフェースであると主張している。 我々は,ストロークの本質的な特性(形状,位置,順序)に対応するスケッチエンコーダを設計する。
  論文  参考訳（メタデータ） (2023-04-23T20:28:38Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Towards Practicality of Sketch-Based Visual Understanding [15.30818342202786]
  スケッチは、先史時代から視覚的な物体を概念化し、描写するために用いられてきた。 この論文は、スケッチに基づく視覚的理解をより実践的に進めることを目的としている。
  論文  参考訳（メタデータ） (2022-10-27T03:12:57Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。