論文の概要: Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

• arxiv url: http://arxiv.org/abs/2607.19857v1
• Date: Wed, 22 Jul 2026 07:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.018996
• Title: Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos
• Title（参考訳）: 空中映像ストリーミングにおける小型物体理解のためのメモリ拡張多モード大言語モデル
• Abstract要約: 言語誘導型空中認識は、複雑な無人航空機(UAV)のシーンにおいて、ユーザ特定された小さなターゲットを理解することを目的としている。 実際のUAV配備では、UAVは飛行中に応答しなければならないため、そのような認識はオンラインストリーミング形式で実行され、フレームが順次到着し、モデルが将来のフレームにアクセスせずに相互に応答する。 データとメソッドの両方の観点から、小さなオブジェクトとストリーミングの課題に対処します。
• 参考スコア（独自算出の注目度）: 62.42252327381627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-guided aerial perception aims to understand user-specified tiny targets in complex unmanned aerial vehicle (UAV) scenes. In real UAV deployment, the UAV must respond while it flies, so such perception runs in an online streaming manner, where frames arrive sequentially and the model responds to each one without access to future frames. However, applying current Multimodal Large Language Models (MLLMs) to this setting raises two challenges. First, targets viewed from the air are often tiny, yet the visual compression in existing MLLMs treats all regions equally and discards their fine-grained details. Second, understanding a continuous stream requires past-frame context, yet retaining the entire history is infeasible on resource-constrained onboard hardware, whereas discarding it causes the target to drift or disappear. We address the tiny object and streaming challenges from both data and method perspectives. From the data perspective, we present \textbf{DroneEyes}, the \textbf{first} pixel-level and open-vocabulary referring-segmentation dataset for tiny aerial targets, comprising $2,140$ high-definition videos and $176,623$ pairs across Object Description and Referring Expression tasks, with dense per-frame masks. From the method perspective, we propose \textbf{SkyAnchor}, an MLLM with two designs to the above challenges: a Semantics-Aware Token Router that preserves small-target under a reduced visual-token budget, and a Hierarchical Memory Bank that keeps the target consistently understood on streams.
• Abstract（参考訳）: 言語誘導型空中認識は、複雑な無人航空機(UAV)のシーンにおいて、ユーザ特定された小さなターゲットを理解することを目的としている。 実際のUAV配備では、UAVは飛行中に応答しなければならないため、そのような認識はオンラインストリーミング形式で実行され、フレームが順次到着し、モデルが将来のフレームにアクセスせずに相互に応答する。 しかし、この設定に現在のMLLM(Multimodal Large Language Models)を適用すると、2つの課題が生じる。 まず、空気から見えるターゲットは小さいことが多いが、既存のMLLMの視覚的圧縮はすべての領域を均等に扱い、細かい詳細を廃棄する。 第二に、継続的ストリームを理解するには、過去のフレームコンテキストが必要だが、リソース制約のあるオンボードハードウェアでは、履歴全体を維持することは不可能である。 データとメソッドの両方の観点から、小さなオブジェクトとストリーミングの課題に対処します。 データの観点からは,2,140$高精細ビデオと1,76,623ドル対のObject DescriptionとReferring Expressionタスクと,フレーム毎の密集したマスクを備えたフレーム毎の表現タスクを含む,小さな空中目標に対する,‘textbf{DroneEyes}’,‘textbf{first} ピクセルレベルおよびオープンボキャブラリ参照セグメンテーションデータセットを提示する。 提案手法の観点からは,2つの設計を持つMLLMである「textbf{SkyAnchor}」を提案する。これは,視覚的トーケン予算の削減の下で小さなターゲットを保存するセマンティックス・アウェアトークンルータと,ストリーム上でターゲットを一貫して理解する階層記憶バンクである。

関連論文リスト

• SkyVLaM: Multimodal Large Language Model for UAV Video Understanding in Remote Sensing [10.503838482038736]
  UAVビデオ理解のための多モード大言語モデルSkyVLaMを提案する。 SkyVLaMは、時間ベースの知覚器を通じてパッチレベルのビデオ表現から直接スパーストークンを構築する。 さらに,SkyVid-VGCGとSkyVid-RVOSを組み合わせたSkyVidを構築した。
  論文  参考訳（メタデータ） (2026-07-19T19:07:19Z)
• City-VLM: Towards Multidomain Perception Scene Understanding via Multimodal Incomplete Learning [18.827215649935468]
  我々は、textbfunderlineSVM-City という、最初のマルチドメイン認識屋外シーン理解データセットを構築した。 420ドル(約4万2000円)の画像と811ドル(約4万2000円)のポイントクラウドと567ドル(約5万5000円)の質問応答ペア、低高度ドローン、高高度航空機、衛星が含まれています。 実験結果から,City-VLM は既存の LVLM を平均して18.14 % のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-07-17T05:21:21Z)
• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• AeroReformer: Aerial Referring Transformer for UAV-based Referring Image Segmentation [9.55871636831991]
  本稿では,UAV参照画像セグメンテーション(UAV-RIS)のための新しいフレームワークを提案する。 AeroReformerは、効果的なクロスモーダル理解のためのVision-Language Cross-Attention Module (VLCAM)とローテーション対応のマルチスケール核融合デコーダを備えている。 新たに開発された2つのデータセットの実験は、既存の方法よりもAeroReformerの方が優れていることを示している。
  論文  参考訳（メタデータ） (2025-02-23T18:49:00Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• Elysium: Exploring Object-level Perception in Videos via MLLM [11.02937968639935]
  本稿では,ビデオにおけるオブジェクトレベルのタスクを,追加のプラグインやエキスパートモデルを必要としないエンドツーエンドのトレーニング可能なMLLMを提案する。 Elysium: MLLMを通じてビデオのオブジェクトレベルの知覚を探索する MLLMは、追加のプラグインやエキスパートモデルを必要としない、ビデオ内でオブジェクトレベルのタスクを実行しようとするエンドツーエンドのトレーニング可能なMLLMです。
  論文  参考訳（メタデータ） (2024-03-25T09:17:15Z)
• Redundancy-aware Transformer for Video Question Answering [71.98116071679065]
  本稿では,ビデオQAを冗長性に認識してモデル化することを目的とした,トランスフォーマーに基づく新しいアーキテクチャを提案する。 隣接するフレームの冗長性に対処するために,隣接するフレームのオブジェクトレベルの変化を強調するビデオエンコーダ構造を導入する。 クロスモーダルな冗長性については、新たな適応サンプリングを融合モジュールに装備し、視覚と言語間の相互作用を明確に区別する。
  論文  参考訳（メタデータ） (2023-08-07T03:16:24Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
  ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。 以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。 そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。 次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-02T10:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。