論文の概要: StreamingClaw Technical Report
- arxiv url: http://arxiv.org/abs/2603.22120v1
- Date: Mon, 23 Mar 2026 15:43:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.759765
- Title: StreamingClaw Technical Report
- Title（参考訳）: StreamingClawテクニカルレポート
- Abstract要約: StreamingClawは、ビデオ理解とインテリジェンスをストリーミングするための統合エージェントフレームワークである。
オンラインリアルタイム推論、マルチモーダルな長期記憶、アクティブなインタラクションを統合フレームワークに統合する。
OpenClawフレームワークと互換性があり、オープンソースコミュニティのリソースとサポートを完全に活用することができる。
- 参考スコア（独自算出の注目度）: 34.71973506764889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applications such as embodied intelligence rely on a real-time perception-decision-action closed loop, posing stringent challenges for streaming video understanding. However, current agents suffer from fragmented capabilities, such as supporting only offline video understanding, lacking long-term multimodal memory mechanisms, or struggling to achieve real-time reasoning and proactive interaction under streaming inputs. These shortcomings have become a key bottleneck for preventing them from sustaining perception, making real-time decisions, and executing actions in real-world environments. To alleviate these issues, we propose StreamingClaw, a unified agent framework for streaming video understanding and embodied intelligence. It is also an OpenClaw-compatible framework that supports real-time, multimodal streaming interaction. StreamingClaw integrates five core capabilities: (1) It supports real-time streaming reasoning. (2) It supports reasoning about future events and proactive interaction under the online evolution of interaction objectives. (3) It supports multimodal long-term storage, hierarchical evolution, and efficient retrieval of shared memory across multiple agents. (4) It supports a closed-loop of perception-decision-action. In addition to conventional tools and skills, it also provides streaming tools and action-centric skills tailored for real-world physical environments. (5) It is compatible with the OpenClaw framework, allowing it to fully leverage the resources and support of the open-source community. With these designs, StreamingClaw integrates online real-time reasoning, multimodal long-term memory, and proactive interaction within a unified framework. Moreover, by translating decisions into executable actions, it enables direct control of the physical world, supporting practical deployment of embodied interaction.
- Abstract（参考訳）: エンボディドインテリジェンスのようなアプリケーションは、リアルタイムの知覚-決定-行動閉ループに依存しており、ストリーミングビデオ理解に厳しい課題を呈している。
しかし、現在のエージェントは、オフラインビデオ理解のみをサポートすること、長期のマルチモーダルメモリ機構の欠如、ストリーミング入力下でリアルタイムの推論とプロアクティブなインタラクションを達成するのに苦労することなど、断片的な機能に悩まされている。
これらの欠点は、知覚を持続させ、リアルタイムな意思決定を行い、現実世界の環境でアクションを実行するのを防ぐ上で、重要なボトルネックとなっている。
これらの問題を緩和するために,ビデオ理解とインテリジェンスをストリーミングするための統合エージェントフレームワークStreamingClawを提案する。
また、リアルタイムでマルチモーダルなストリーミングインタラクションをサポートするOpenClaw互換のフレームワークである。
StreamingClawは5つのコア機能を統合している。
2)対話目的のオンライン進化における今後の出来事の推論と積極的相互作用を支援する。
(3)マルチモーダル長期記憶,階層的進化,複数エージェント間の共有メモリの効率的な検索をサポートする。
(4)知覚-決定-行動の閉ループをサポートする。
従来のツールやスキルに加えて、実際の物理的な環境に適したストリーミングツールやアクション中心のスキルも提供する。
(5) OpenClawフレームワークと互換性があり、オープンソースコミュニティのリソースとサポートを完全に活用することができる。
これらの設計により、StreamingClawは、オンラインリアルタイム推論、マルチモーダルな長期記憶、アクティブなインタラクションを統合フレームワークに統合する。
さらに、決定を実行可能な行動に変換することにより、物理世界の直接制御を可能にし、具体的相互作用の実践的な展開を支援する。
関連論文リスト
- InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。
MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。
InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-06-10T15:17:08Z) - Harnessing Streaming Video in the Wild [53.23721420272668]
VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。
理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。
既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
論文 参考訳（メタデータ） (2026-06-07T13:00:19Z) - StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering [39.92453666681465]
StreamOVは、バウンドメモリとプロアクティブ応答トリガを備えた効率的なオンラインオーディオ視覚推論のための、新しいStreaming Omni-Video理解フレームワークである。
応答のタイミングを決定するために、隠れ状態駆動のトリガーを使用しており、明示的なサイレントトーケン生成と外部ルータを避けている。
さまざまなストリーミングとビデオのベンチマークで最先端のパフォーマンスを実現し、オンラインとオフラインの両方のビデオ理解に有効であることを実証している。
論文 参考訳（メタデータ） (2026-05-25T09:23:19Z) - ABot-Claw: A Foundation for Persistent, Cooperative, and Self-Evolving Robotic Agents [28.060424125604786]
ABot-Clawは、異種ロボットの協調のための能力駆動型スケジューリングを統合するOpenClawの具体的拡張である。
OpenClaw層、共有サービス層、ロボット実施層にまたがる分離アーキテクチャにより、ABot-Clawは現実世界のインタラクションを可能にする。
論文 参考訳（メタデータ） (2026-04-11T08:33:14Z) - OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams [57.22276728212066]
現代の視覚エージェントは、リアルタイムストリーミング環境で動作するために、一般的な、因果的、物理的に構造化された表現を必要とする。
本稿では,多様な視覚入力を効果的に知覚し,再構成し,動作させる,統合されたストリーミング視覚バックボーンであるOmniStreamを紹介する。
論文 参考訳（メタデータ） (2026-03-12T17:59:55Z) - VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding [21.301669124238693]
VideoARMは、長めのビデオ理解のためのエージェント推論と階層メモリのパラダイムである。
静的で徹底的な前処理の代わりに、VideoARMは適応的でオンザフライのエージェント推論とメモリ構成を実行する。
一般的なベンチマーク実験では、VideoARMは最先端の方法であるDVDよりも優れており、ロングフォームビデオのトークン消費は大幅に減少している。
論文 参考訳（メタデータ） (2025-12-13T15:11:03Z) - StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。
我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。
提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
論文 参考訳（メタデータ） (2025-08-03T18:15:42Z) - Learning Streaming Video Representation via Multitask Training [38.83730146750222]
オフラインの動画理解とは異なり、ストリーミングビデオ理解にはフレーム単位でビデオストリームを処理し、過去の情報を保存し、低レイテンシの決定を行う能力が必要である。
本稿では,事前学習した視覚変換器に因果的注意を組み込むことにより,StreamFormerと呼ばれる新しいストリーミングビデオバックボーンを開発する。
オンラインアクション検出、オンラインビデオインスタンスセグメンテーション、およびビデオ質問応答に関する広範な実験を行う。
論文 参考訳（メタデータ） (2025-04-28T17:59:54Z) - Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。
本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。
我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
論文 参考訳（メタデータ） (2025-01-23T08:33:10Z) - InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。
このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
論文 参考訳（メタデータ） (2024-12-12T18:58:30Z) - DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。
DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。
実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-09T14:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。