論文の概要: From the Laboratory to Real-World Application: Evaluating Zero-Shot Scene Interpretation on Edge Devices for Mobile Robotics

• arxiv url: http://arxiv.org/abs/2511.02427v1
• Date: Tue, 04 Nov 2025 09:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.886517
• Title: From the Laboratory to Real-World Application: Evaluating Zero-Shot Scene Interpretation on Edge Devices for Mobile Robotics
• Title（参考訳）: 実験室から実世界の応用へ:モバイルロボティクス用エッジデバイスにおけるゼロショットシーン解釈の評価
• Authors: Nicolas Schuler, Lea Dewald, Nick Baldig, Jürgen Graf,
• Abstract要約: 本稿では、シーン認識とアクション認識のタスクにおける最先端のビジュアル言語モデル(VLM)の機能について検討する。 提案したパイプラインは、様々な現実世界の街並み、キャンパス内、屋内シナリオからなる多様なデータセットに基づいて評価される。 実験的な評価では、エッジデバイス上でのこれらの小さなモデルの可能性、特に課題、弱点、固有のモデルバイアス、得られた情報の適用について論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Understanding, Scene Interpretation and Commonsense Reasoning are highly challenging tasks enabling the interpretation of visual information, allowing agents to perceive, interact with and make rational decisions in its environment. Large Language Models (LLMs) and Visual Language Models (VLMs) have shown remarkable advancements in these areas in recent years, enabling domain-specific applications as well as zero-shot open vocabulary tasks, combining multiple domains. However, the required computational complexity poses challenges for their application on edge devices and in the context of Mobile Robotics, especially considering the trade-off between accuracy and inference time. In this paper, we investigate the capabilities of state-of-the-art VLMs for the task of Scene Interpretation and Action Recognition, with special regard to small VLMs capable of being deployed to edge devices in the context of Mobile Robotics. The proposed pipeline is evaluated on a diverse dataset consisting of various real-world cityscape, on-campus and indoor scenarios. The experimental evaluation discusses the potential of these small models on edge devices, with particular emphasis on challenges, weaknesses, inherent model biases and the application of the gained information. Supplementary material is provided via the following repository: https://datahub.rz.rptu.de/hstr-csrl-public/publications/scene-interpretation-on-edge-devices/
• Abstract（参考訳）: 映像理解、シーン解釈、コモンセンス推論は、視覚情報の解釈を可能にし、エージェントがその環境において合理的な決定を知覚し、対話し、行うことができる、非常に困難なタスクである。 大規模言語モデル (LLMs) とビジュアル言語モデル (VLMs) は近年,これらの領域で顕著な進歩を見せている。 しかし、必要となる計算複雑性は、エッジデバイスやモバイルロボティクスの文脈において、特に正確性と推論時間のトレードオフを考慮して、その応用に課題をもたらす。 本稿では,モバイルロボティクスの文脈でエッジデバイスに展開可能な小型のVLMについて,シーン解釈とアクション認識のタスクにおける最先端のVLMの機能について検討する。 提案するパイプラインは,現実世界の都市景観,オンキャンプ,屋内シナリオからなる多様なデータセットに基づいて評価される。 実験的な評価では、エッジデバイス上でのこれらの小さなモデルの可能性、特に課題、弱点、固有のモデルバイアス、得られた情報の適用について論じている。 追加資料は以下のリポジトリを通じて提供される。 https://datahub.rz.rptu.de/hstr-csrl-publications/scene-prepretation-on-edge-devices/

関連論文リスト

• Context-Aware Command Understanding for Tabletop Scenarios [1.7082212774297747]
  本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。 音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することにより、ロボットに対して実行可能な指示を抽出する。 システムの長所と短所、特にマルチモーダルコマンド解釈の扱い方について論じる。
  論文  参考訳（メタデータ） (2024-10-08T20:46:39Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。