論文の概要: Multimodal Large Language Model for Visual Navigation

• arxiv url: http://arxiv.org/abs/2310.08669v1
• Date: Thu, 12 Oct 2023 19:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:53:20.035279
• Title: Multimodal Large Language Model for Visual Navigation
• Title（参考訳）: 視覚ナビゲーションのためのマルチモーダル大言語モデル
• Authors: Yao-Hung Hubert Tsai, Vansh Dhar, Jialu Li, Bowen Zhang, Jian Zhang
• Abstract要約: 提案手法は,視覚ナビゲーションのための大規模言語モデルを,広範囲な迅速なエンジニアリングなしに微調整することを目的としている。 我々の設計には、単純なテキストプロンプト、現在の観測、過去の観測から情報を入力として収集する履歴収集モデルが含まれる。 我々は、Habitat-Matterport 3Dデータセットから人間の実演と衝突信号を用いてモデルを訓練する。
• 参考スコア（独自算出の注目度）: 20.53387240108225
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent efforts to enable visual navigation using large language models have mainly focused on developing complex prompt systems. These systems incorporate instructions, observations, and history into massive text prompts, which are then combined with pre-trained large language models to facilitate visual navigation. In contrast, our approach aims to fine-tune large language models for visual navigation without extensive prompt engineering. Our design involves a simple text prompt, current observations, and a history collector model that gathers information from previous observations as input. For output, our design provides a probability distribution of possible actions that the agent can take during navigation. We train our model using human demonstrations and collision signals from the Habitat-Matterport 3D Dataset (HM3D). Experimental results demonstrate that our method outperforms state-of-the-art behavior cloning methods and effectively reduces collision rates.
• Abstract（参考訳）: 大規模言語モデルを用いた視覚ナビゲーションの実現に向けた最近の取り組みは、主に複雑なプロンプトシステムの開発に焦点を当てている。 これらのシステムは、指示、観察、歴史を巨大なテキストプロンプトに組み込んで、事前訓練された大きな言語モデルと組み合わせて視覚的なナビゲーションを容易にする。 対照的に,我々のアプローチは,大規模なプロンプトエンジニアリングを必要とせず,ビジュアルナビゲーションのための大規模言語モデルを微調整することを目指している。 我々の設計には、単純なテキストプロンプト、現在の観測、過去の観測から情報を入力として収集する履歴収集モデルが含まれる。 出力には,エージェントがナビゲーション中に行う可能性のある動作の確率分布が提供される。 habitat-matterport 3d dataset (hm3d) からの人間によるデモンストレーションと衝突信号を用いてモデルをトレーニングした。 実験の結果, 本手法は最先端の動作クローニング法を上回っており, 衝突率を効果的に低減できることがわかった。

関連論文リスト

• EVLM: An Efficient Vision-Language Model for Visual Understanding [18.794601813330715]
  本稿では,計算コストを最小化する効率的なマルチモーダル言語モデルを提案する。 画像キャプションやビデオキャプションといったタスクにおいて,公開マルチモーダルベンチマークの競合スコアを達成し,良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-07-19T10:09:51Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• Towards Learning a Generalist Model for Embodied Navigation [24.816490551945435]
  そこで本研究では,NaviLLM を具体化するための最初のジェネラリストモデルを提案する。 スキーマベースの命令を導入することで、LCMをナビゲーションの具体化に適応する。 我々は,モデルの性能と一般化性を評価するため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-12-04T16:32:51Z)
• Interactive Navigation in Environments with Traversable Obstacles Using Large Language and Vision-Language Models [14.871309526022516]
  本稿では,大規模言語と視覚言語を用いた対話型ナビゲーションフレームワークを提案する。 我々は、微調整なしで効果的な経路計画を行うためのアクション対応コストマップを作成する。 すべての実験結果から,提案フレームワークの有効性と多様な環境への適応性が確認された。
  論文  参考訳（メタデータ） (2023-10-13T05:59:03Z)
• TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models [5.668457303716451]
  マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。 我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
  論文  参考訳（メタデータ） (2023-03-27T17:54:32Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Using Large Language Models to Generate Engaging Captions for Data Visualizations [51.98253121636079]
  大規模言語モデル(LLM)は、高度なディープラーニング技術を用いて人間のような散文を生成する。 主な課題は、プロンプトエンジニアリングと呼ばれるLLMの最も効果的なプロンプトを設計することである。 我々は,LLM GPT-3を用いた最初の実験について報告し,いくつかの有望な結果を得た。
  論文  参考訳（メタデータ） (2022-12-27T23:56:57Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Zero Experience Required: Plug & Play Modular Transfer Learning for Semantic Visual Navigation [97.17517060585875]
  新たなモジュール移動学習モデルを用いて視覚ナビゲーションに統一的な手法を提案する。 我々のモデルは、1つのソースタスクから経験を効果的に活用し、複数のターゲットタスクに適用することができる。 我々のアプローチはより速く学習し、より良く一般化し、大きなマージンでSoTAモデルを上回っます。
  論文  参考訳（メタデータ） (2022-02-05T00:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。