論文の概要: SCOPE: Real-Time Natural Language Camera Agent at the Edge
- arxiv url: http://arxiv.org/abs/2606.02951v1
- Date: Mon, 01 Jun 2026 23:07:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.635111
- Title: SCOPE: Real-Time Natural Language Camera Agent at the Edge
- Title（参考訳）: SCOPE: エッジのリアルタイム自然言語カメラエージェント
- Authors: Nikolaj Hindsbo, Sina Ehsani, Pragyana Mishra,
- Abstract要約: SCOPE(知覚と評価のためのシミュレーションとカメラ操作)
本稿では,PTZカメラ制御と視覚的シーン理解のためのモジュールエージェントSCOPEについて述べる。
我々は、Blenderベースのシミュレーション環境で、QA、単一言語カウント、カウント、空間推論、説明、光学文字認識にまたがる536タスクのベンチマークをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying language-driven agents in robotics requires evaluations that reflect real-world task demands: natural-language instructions with reproducible outcomes. Such agents must connect language models to callable perception and control tools, and be assessed using deployment-critical metrics including latency, accuracy, and error modes. We present SCOPE (Simulation and Camera Operations for Perception and Evaluation), a modular agent for natural-language, open-vocabulary pan-tilt-zoom (PTZ) camera control and visual scene understanding, designed explicitly for edge deployment. SCOPE operates both in a Blender-based simulation environment and on a physical PTZ camera, executing all perception, planning, and control locally at the deployment site using edge-accessible compute. We release a 536-task benchmark spanning QA, single- and multi-step commands, counting, spatial reasoning, descriptions, and optical character recognition in a Blender-based simulation environment that exposes realistic PTZ control affordances. Execution traces are combined with an LM-as-Judge to evaluate latency, accuracy, and error modes. We evaluate 19 planner-perception model combinations pairing Qwen3 small language models (SLMs) with Moondream and Qwen vision-language models (VLMs). Stronger SLMs substantially reduce hallucinations and improve tool routing, leading to more reliable closed-loop behavior. Once a sufficiently capable SLM is used, perception becomes the dominant performance bottleneck. Mixture-of-Experts models on both the planning and perception side consistently match or exceed dense alternatives at latencies and memory footprints comparable to much smaller networks. Quantization provides additional efficiency gains with minimal accuracy degradation, identifying a practical, sim-to-real validated design point for real-time, edge-feasible language-driven PTZ control.
- Abstract（参考訳）: ロボット工学に言語駆動エージェントを配置するには、実世界のタスク要求を反映した評価が必要である。
このようなエージェントは、言語モデルを呼び出し可能な知覚と制御ツールに接続し、レイテンシ、精度、エラーモードを含むデプロイメントクリティカルなメトリクスを使用して評価する必要がある。
提案するSCOPE(Simulation and Camera Operations for Perception and Evaluation)は,自然言語,オープン語彙のパンティルトズーム(PTZ)カメラ制御および視覚的シーン理解のためのモジュールエージェントで,エッジ展開用に明示的に設計されている。
SCOPEは、Blenderベースのシミュレーション環境と物理PTZカメラの両方で動作し、エッジアクセス可能な計算を使用して、配置現場で全ての知覚、計画、制御を実行する。
我々は,実感的なPTZ制御能力を公開するBlenderベースのシミュレーション環境において,QA,シングルステップ,マルチステップのコマンド,カウント,空間推論,説明,光学文字認識にまたがる536タスクベンチマークを作成した。
実行トレースとLM-as-Judgeを組み合わせることで、レイテンシ、精度、エラーモードを評価する。
本研究では,Qwen3小言語モデル (SLM) とMoondreamとQwen視覚言語モデル (VLM) を組み合わせた19のプランナー知覚モデルの組み合わせを評価した。
より強力なSLMは幻覚を著しく低減し、ツールルーティングを改善し、より信頼性の高いクローズドループ動作をもたらす。
十分な能力を持つSLMが使われると、認識が主なパフォーマンスボトルネックとなる。
計画と知覚の両面でのMixture-of-Expertsモデルは、より小さなネットワークに匹敵するレイテンシとメモリフットプリントにおいて、常に一致または超過する。
量子化により、最小限の精度で効率が向上し、リアルタイムでエッジ対応の言語駆動型PTZ制御のための実用的なsim-to-real設計ポイントが特定できる。
関連論文リスト
- Learning POMDP World Models from Observations with Language-Model Priors [52.11151769796862]
部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。
先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。
我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
論文 参考訳（メタデータ） (2026-05-13T16:18:15Z) - A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。
量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T03:40:30Z) - I-Perceive: A Foundation Model for Active Perception with Language Instructions [41.67607728608853]
I-Perceiveは,自然言語命令に基づく能動的知覚の基礎モデルである。
I-Perceiveは、画像ベースのシーンコンテキストに基づいて、オープンな言語命令に従うカメラビューを予測する。
実験により、I-Perceiveは、生成したカメラビューの予測精度とインストラクションの両方において、最先端のVLMを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-28T11:38:56Z) - ParaMaP: Parallel Mapping and Collision-free Motion Planning for Reactive Robot Manipulation [17.260700135265267]
未知の環境でのロボット操作には、リアルタイムおよび衝突のないモーションプランニングが依然として困難である。
本研究では,Euclidean Distance Transform(EDT)に基づく環境表現をサンプリングベースモデル予測制御(SMPC)プランナと密に統合する並列マッピングと動作計画フレームワークを提案する。
提案手法の有効性は, 7-DoFロボットマニピュレータを用いた広範囲なシミュレーションと実世界の実験により検証した。
論文 参考訳（メタデータ） (2025-12-27T12:24:10Z) - Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。
ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。
我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
論文 参考訳（メタデータ） (2025-10-11T18:11:09Z) - TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics [53.442362491589726]
本稿では、視覚言語モデル(VLM)を幾何学コンピュータに変換する新しいフレームワークであるTIGeR(Tool-Integrated Geometric Reasoning)を提案する。
TIGeRは、ニューラルネットワーク内で複雑な幾何学的操作を内部化しようとするのではなく、幾何学的推論要求を認識するためにモデルに権限を与える。
TIGeRは、実世界のロボット操作タスクにおいて、センチメートルレベルの精度を示しながら、幾何学的推論ベンチマーク上でSOTA性能を達成することを示す。
論文 参考訳（メタデータ） (2025-10-08T16:20:23Z) - MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。
MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。
私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
論文 参考訳（メタデータ） (2025-08-22T09:47:53Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。
ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。
我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
論文 参考訳（メタデータ） (2025-03-08T01:22:10Z) - SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for
Autonomous Driving [27.776472262857045]
本稿では,自動運転車のための簡易かつ効率的な運動予測ベースライン(SIMPL)を提案する。
メッセージ転送を対称的に行う,コンパクトで効率的なグローバル機能融合モジュールを提案する。
強力なベースラインとして、SIMPLはArgoverse 1と2のモーション予測ベンチマークで高い競争性能を示す。
論文 参考訳（メタデータ） (2024-02-04T15:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。