論文の概要: Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.03622v3
• Date: Wed, 23 Oct 2024 07:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:53:08.212995
• Title: Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models
• Title（参考訳）: LLMのマインドズアイ:大規模言語モデルにおける空間推論の可視化
• Authors: Wenshan Wu, Shaoguang Mao, Yadong Zhang, Yan Xia, Li Dong, Lei Cui, Furu Wei,
• Abstract要約: 大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
• 参考スコア（独自算出の注目度）: 71.93366651585275
• License:
• Abstract: Large language models (LLMs) have exhibited impressive performance in language comprehension and various reasoning tasks. However, their abilities in spatial reasoning, a crucial aspect of human cognition, remain relatively unexplored. Human possess a remarkable ability to create mental images of unseen objects and actions through a process known as the Mind's Eye, enabling the imagination of the unseen world. Inspired by this cognitive capacity, we propose Visualization-of-Thought (VoT) prompting. VoT aims to elicit spatial reasoning of LLMs by visualizing their reasoning traces, thereby guiding subsequent reasoning steps. We employed VoT for multi-hop spatial reasoning tasks, including natural language navigation, visual navigation, and visual tiling in 2D grid worlds. Experimental results demonstrated that VoT significantly enhances the spatial reasoning abilities of LLMs. Notably, VoT outperformed existing multimodal large language models (MLLMs) in these tasks. While VoT works surprisingly well on LLMs, the ability to generate mental images to facilitate spatial reasoning resembles the mind's eye process, suggesting its potential viability in MLLMs. Please find the dataset and codes at https://microsoft.github.io/visualization-of-thought
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 しかし、人間の認知の重要な側面である空間的推論におけるそれらの能力は、いまだに未解明のままである。 人間は「心の目」と呼ばれるプロセスを通じて、目に見えない物体や行動の心的イメージを創造し、目に見えない世界の想像力を可能にしている。 この認知能力に触発されて、我々はVoTプロンプトを提案する。 VoTは、LLMの空間的推論を、その推論トレースを可視化することによって引き起こし、その後の推論ステップを導くことを目的としている。 自然言語ナビゲーションや視覚ナビゲーション,視覚タイリングなど,マルチホップ空間推論タスクにVoTを用いた。 実験により,VoTはLLMの空間推論能力を著しく向上することが示された。 特に、VoTはこれらのタスクにおいて既存のマルチモーダル・大規模言語モデル(MLLM)よりも優れていた。 VoTはLDMで驚くほどうまく機能するが、空間的推論を促進するメンタルイメージを生成する能力は、心の目の動きに似ており、MLLMにおけるその可能性を示している。 データセットとコードはhttps://microsoft.github.io/visualization-of- Thoughtで参照してください。

関連論文リスト

• Retrieving Implicit and Explicit Emotional Events Using Large Language Models [4.245183693179267]
  大規模言語モデル (LLM) は近年,その優れたパフォーマンスから注目されている。 本研究では,LLMのコモンセンスにおける感情検索能力について検討する。
  論文  参考訳（メタデータ） (2024-10-24T19:56:28Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
  MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。 しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。 We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
  論文  参考訳（メタデータ） (2023-12-21T18:49:47Z)
• CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding [66.52659447360104]
  CoVLM は LLM を誘導して、テキスト間の視覚的実体と関係を明示的に構成することができる。 テキスト間の視覚的実体と関係を明示的に構成するために,LLM をガイドする CoVLM を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:59:44Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs [0.0]
  本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。 その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-22T22:53:44Z)
• Imagination-Augmented Natural Language Understanding [71.51687221130925]
  自然言語理解タスクを解決するために,Imagination-Augmented Cross-modal (iACE)を導入する。 iACEは、強力な生成的および事前訓練された視覚・言語モデルから変換された外部知識で視覚的な想像を可能にする。 GLUEとSWAGの実験は、iACEが視覚的に教師付き事前訓練されたモデルよりも一貫した改善を達成していることを示している。
  論文  参考訳（メタデータ） (2022-04-18T19:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。