論文の概要: StreamDAM: Presence-Aware Memory for Real-Time Streaming Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2608.03912v1
• Date: Tue, 04 Aug 2026 16:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 17:47:10.513829
• Title: StreamDAM: Presence-Aware Memory for Real-Time Streaming Video Object Segmentation
• Title（参考訳）: StreamDAM: リアルタイムストリーミングビデオオブジェクトセグメンテーションのためのPresence-Awareメモリ
• Abstract要約: Methodは最強のストリーミングトラッカーであり、オフラインモデルの精度のほぼ全てをクロック下で回復し、最も厳しいコンテンツは、構築したオフラインモデルを超える。
• 参考スコア（独自算出の注目度）: 8.049753893207559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality-tier video object segmentation (VOS) trackers such as DAM4SAM top accuracy leaderboards, but they are measured offline, one frame at a time with no clock. Under an honest streaming protocol at 30 frames per second, where a frame that misses its budget is served the last mask already computed, the winner collapses: the rich memory that makes it accurate is too slow to keep up, and what it emits is blind to whether the object is even present. We trace both failures to one place, the tracker's memory pipeline, and rebuild it for streaming. \method{} makes the memory machinery itself run at frame rate through in-model optimization rather than a bolted-on fallback, and governs it with a single learned presence signal that decides what enters memory, how far back the tracker reads, when to withhold output, and when to re-detect. A mechanism analysis shows why a fixed policy cannot win: the control that helps when an object truly disappears is the one that hurts when it is merely hard to see, so the choice must be made per frame. Across four benchmarks and five modern baselines, \method{} is the strongest streaming tracker, recovers nearly all of the offline model's accuracy under the clock, and on the hardest content exceeds the offline model it is built from.
• Abstract（参考訳）: DAM4SAMのトップ精度リーダーボードのような品質レベルのビデオオブジェクトセグメンテーション(VOS)トラッカーはオフラインで計測される。 30フレーム/秒という正直なストリーミングプロトコルでは、予算を逸脱したフレームが、すでに計算済みの最後のマスクとして提供されるが、勝者は崩壊する。 両方の障害を1つの場所、トラッカーのメモリパイプラインにトレースし、ストリーミング用に再構築します。 メモリマシン自体をボルトオンフォールバックではなくモデル内で最適化することでフレームレートで動作させ、メモリへの入力、トラッカーの読み取り時間、出力を保留するタイミング、再検出するタイミングを決定する単一の学習された存在信号で制御する。 メカニズム分析は、固定されたポリシーが勝つことができない理由を示している。オブジェクトが本当に消えたときに役立つコントロールは、単に見るのが難しいときを傷つけるものであるので、フレーム毎に選択をしなければならない。 4つのベンチマークと5つのモダンなベースラインにまたがって、‘method{}’は最強のストリーミングトラッカーであり、オフラインモデルの精度のほぼ全てをクロック下で回復する。

関連論文リスト

• ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
  ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。 それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。 オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
  論文  参考訳（メタデータ） (2026-07-30T14:47:00Z)
• Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding [56.17043150838547]
  CausalMemは動的ビジュアルメモリ更新機構の構築に特化している。 視覚トークンの冗長性を推定し、オンラインセマンティックベースでメモリバンクを更新する。 textbf20$times$ visual token compression ratioを達成し、textbf82 MBストレージのみを占有する。
  論文  参考訳（メタデータ） (2026-06-24T10:11:08Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• A Simple Baseline for Streaming Video Understanding [44.77185258429313]
  直近のNフレームのみをオフザシェルフVLMに供給するスライディングウィンドウベースラインを形式化する。 OVO-BenchとStreamingBenchをベースとした13のオフラインおよびオンラインビデオLLMベースラインに対して評価を行った。
  論文  参考訳（メタデータ） (2026-04-02T17:58:04Z)
• Track-On: Transformer-based Online Point Tracking with Memory [34.744546679670734]
  オンラインの長期点追跡用に設計されたシンプルなトランスフォーマーベースのモデルであるTrack-Onを紹介する。 フル・テンポラル・モデリングに依存する従来の手法とは異なり、我々のモデルは将来のフレームにアクセスすることなくビデオ・フレームを慎重に処理する。 推測時に、高い精度で対応点とトラックポイントを識別するためにパッチ分類と改良を用いる。
  論文  参考訳（メタデータ） (2025-01-30T17:04:11Z)
• Tracking by Associating Clips [110.08925274049409]
  本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。 我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。 この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。 次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
  論文  参考訳（メタデータ） (2022-12-20T10:33:17Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• Real-time Online Multi-Object Tracking in Compressed Domain [66.40326768209]
  近年,Multi-Object Tracking (MOT) 手法が望まれるトラッキング性能を実現している。 隣接するフレームが極めて関連性が高く冗長であるという事実に着想を得て、フレームをキーフレームと非キーフレームに分割する。 私たちのトラッカーは、同等のトラッカー性能を維持しながら、約6倍高速です。
  論文  参考訳（メタデータ） (2022-04-05T09:47:24Z)
• FrameHopper: Selective Processing of Video Frames in Detection-driven Real-Time Video Analytics [2.5119455331413376]
  検出駆動リアルタイムビデオ分析では、ビデオフレームに含まれるオブジェクトを連続的に検出する必要がある。 これらの検出器をリソース制約されたエッジデバイスの各フレームで実行することは、計算集約的である。 本稿では,これらのスキップ長を決定するために,オフライン強化学習(RL)に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-22T07:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。