論文の概要: Space-LLaVA: a Vision-Language Model Adapted to Extraterrestrial Applications

• arxiv url: http://arxiv.org/abs/2408.05924v2
• Date: Sat, 18 Jan 2025 19:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 19:37:18.88271
• Title: Space-LLaVA: a Vision-Language Model Adapted to Extraterrestrial Applications
• Title（参考訳）: Space-LLaVA:地球外応用に適応したビジョンランゲージモデル
• Authors: Matthew Foutter, Daniele Gammelli, Justin Kruger, Ethan Foss, Praneet Bhoj, Tommaso Guffanti, Simone D'Amico, Marco Pavone,
• Abstract要約: 宇宙ロボティクスのためのFMを構築する動機となる宇宙ロボティクスには,3つの課題がある。 宇宙基盤モデルへの第一歩として、3つの地球外データベースを微細なアノテーションで拡張する。 我々は、地球外環境のセマンティックな特徴に適応するために、ビジョン・ランゲージ・モデル(Vision-Language Model)を微調整する。
• 参考スコア（独自算出の注目度）: 14.89043819048682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation Models (FMs), e.g., large language models, possess attributes of intelligence which offer promise to endow a robot with the contextual understanding necessary to navigate complex, unstructured tasks in the wild. We see three core challenges in the future of space robotics that motivate building an FM for the space robotics community: 1) Scalability of ground-in-the-loop operations; 2) Generalizing prior knowledge to novel environments; and 3) Multi-modality in tasks and sensor data. As a first-step towards a space foundation model, we programmatically augment three extraterrestrial databases with fine-grained language annotations inspired by the sensory reasoning necessary to e.g., identify a site of scientific interest on Mars, building a synthetic dataset of visual-question-answer and visual instruction-following tuples. We fine-tune a pre-trained LLaVA 13B checkpoint on our augmented dataset to adapt a Vision-Language Model (VLM) to the visual semantic features in an extraterrestrial environment, demonstrating FMs as a tool for specialization and enhancing a VLM's zero-shot performance on unseen task types in comparison to state-of-the-art VLMs. Ablation studies show that fine-tuning the language backbone and vision-language adapter in concert is key to facilitate adaption while a small percentage, e.g., 20%, of the pre-training data can be used to safeguard against catastrophic forgetting.
• Abstract（参考訳）: ファンデーションモデル(FM)、例えば、大きな言語モデルには、複雑な非構造的なタスクを野生でナビゲートするのに必要なコンテキスト理解を持つロボットを約束するインテリジェンスの性質がある。 宇宙ロボティクスコミュニティのためのFM構築を動機付ける宇宙ロボティクスの未来において、我々は3つの重要な課題を経験している。 1) グラウンド・イン・ザ・ループ操作のスケーラビリティ 2【事前知識の新規環境への一般化】 3)タスクとセンサデータのマルチモーダリティ。 宇宙基盤モデルへの第一歩として,火星の科学的な関心の場所を特定し,視覚的質問応答と視覚的指示追従のタプルの合成データセットを構築し,詳細な言語アノテーションによる3つの地球外データベースをプログラム的に拡張する。 我々は、我々の拡張データセット上の事前訓練されたLLaVA 13Bチェックポイントを地球外環境における視覚的セマンティックな特徴に適応させるために微調整し、最先端のVLMと比較して、VLMのゼロショット性能を特殊化および向上するためのツールとしてFMを実証した。 アブレーション研究は、言語バックボーンと視覚言語アダプターをコンサートで微調整することが適応を促進する鍵であり、事前学習データのうち、20%が破滅的な忘れ込みを防ぐために使用できることを示している。

関連論文リスト

• Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [67.31811007549489]
  視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。 書き換え機構を応用して, シミュレータフリー, 省力化の両面で新たな観察指導が可能となり, 一般化が促進される。 離散環境 (R2R, REVERIE, R4R) と連続環境 (R2R-CE) の両方における実験により, 本手法の優れた性能と優れた一般化能力が示された。
  論文  参考訳（メタデータ） (2025-03-23T13:18:17Z)
• LIAM: Multimodal Transformer for Language Instructions, Images, Actions and Semantic Maps [18.602777449136738]
  言語,イメージ,アクション,マップの入力に基づいて,アクションの書き起こしを予測するエンド・ツー・エンドのモデルであるLIAMを提案する。 国内タスクのシミュレータ生成ベンチマークであるALFREDデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2025-03-15T18:54:06Z)
• PAVLM: Advancing Point Cloud based Affordance Understanding Via Vision-Language Model [4.079327215055764]
  3Dオブジェクト上で動作可能な領域を識別する作業であるアフォーマンス理解は、ロボットシステムが物理的な世界の中で関わり、操作できるようにする上で重要な役割を担っている。 視覚言語モデル(VLM)は高レベルの推論において優れているが、効果的な人間とロボットの相互作用に必要な微妙な物理的特性の把握には不十分である。 PAVLMは、事前訓練された言語モデルに埋め込まれた広範なマルチモーダル知識を利用して、ポイントクラウドの3Dアベイランス理解を強化する革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-10-15T12:53:42Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations [5.065947993017157]
  本研究では、画像復号化機械学習モデルを用いて、視覚言語データセットをキュレートする手法を提案する。 約960万の視覚言語対のデータセットをVHR画像で収集しました。 結果として得られたモデルは、公開可能なビジョン言語データセットを活用できないものよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T06:36:08Z)
• Space3D-Bench: Spatial 3D Question Answering Benchmark [49.259397521459114]
  Space3D-Benchは、Replicaデータセットのシーンに関連する1000の一般的な空間的質問と回答の集合である。 本研究では,事前定義された接地真実解に基づいて,自然言語応答を評価評価するシステムを提案する。 最後に,基礎モデルの世界理解をリッチな文脈検索と統合したRAG3D-Chatというベースラインを導入する。
  論文  参考訳（メタデータ） (2024-08-29T16:05:22Z)
• Simultaneous Localization and Affordance Prediction for Tasks in Egocentric Video [18.14234312389889]
  本稿では,視覚的インプットとタスク記述を結びつけるために,空間的局所化されたエゴセントリックビデオのトレーニングを行うシステムを提案する。 提案手法は,VLMを用いてタスク記述の類似性を位置タグ付き画像にマッピングする手法よりも優れていることを示す。 このシステムは、ロボットがエゴセントリックな感覚を使って、自然言語で指定された新しいタスクの物理的な場所をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-07-18T18:55:56Z)
• SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
  VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。 推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。 本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:59:06Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)
• Towards A Foundation Model For Trajectory Intelligence [0.0]
  実世界のユーザチェックインデータを用いて,大規模軌跡モデルのトレーニング結果を示す。 提案手法は,マスク付き軌道モデルを用いてベースモデルを事前学習する,事前学習と微調整のパラダイムに従う。 私たちの経験分析では、600万人以上のユーザーが生成した20億以上のチェックインの包括的データセットを利用しています。
  論文  参考訳（メタデータ） (2023-11-30T00:34:09Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
  マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。 オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。 コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
  論文  参考訳（メタデータ） (2023-06-26T16:32:47Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• Transfer Learning with Synthetic Corpora for Spatial Role Labeling and Reasoning [15.082041039434365]
  複数の空間言語処理タスクに2つの新しいデータリソースを提供する。 空間質問応答(SQA)と空間ロールラベリング(SpRL)の伝達学習のために、第1のデータセットを合成する。 第2のデータセットは、SPRLアノテーションを備えた既存のコーパス上に構築された人間生成の質問を備えた現実世界のSQAデータセットである。
  論文  参考訳（メタデータ） (2022-10-30T21:23:34Z)
• Grounding Language with Visual Affordances over Unstructured Data [26.92329260907805]
  本研究では,非構造化,オフライン,リセットのないデータから,言語条件のロボットスキルを効率的に学習するための新しい手法を提案する。 我々は、言語による全データの1%しか必要としない自己教師型ビジュオ言語割当モデルを利用する。 提案手法は,従来の手法よりも桁違いに少ないデータで,リアルタイムに長時間の多層タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T21:16:48Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。