論文の概要: Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing
- arxiv url: http://arxiv.org/abs/2603.22466v1
- Date: Mon, 23 Mar 2026 18:32:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.145346
- Title: Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing
- Title(参考訳): グレースケールのオンライントリガー「Color When Counts」
- Authors: Weitong Cai, Hang Zhang, Yukai Huang, Shitong Sun, Jiankang Deng, Songcen Xu, Jifei Song, Zhensong Zhang,
- Abstract要約: グレースケール・アレンジ,カラー・オン・デマンドという,効率的なストリーミングビデオ理解のための新しいパラダイムを提案する。
そこで我々は、カラーキャプチャーを窓付きグレースケール親和性分析に基づいて起動するオンライントレーニングフリートリガであるColorTriggerを提案する。
ストリーミングビデオ理解ベンチマークでは、ColorTriggerはフルカラーのベースライン性能の91.6%を達成し、8.1%のRGBフレームしか使用していない。
- 参考スコア(独自算出の注目度): 58.25947399492333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Always-on sensing is essential for next-generation edge/wearable AI systems, yet continuous high-fidelity RGB video capture remains prohibitively expensive for resource-constrained mobile and edge platforms. We present a new paradigm for efficient streaming video understanding: grayscale-always, color-on-demand. Through preliminary studies, we discover that color is not always necessary. Sparse RGB frames suffice for comparable performance when temporal structure is preserved via continuous grayscale streams. Building on this insight, we propose ColorTrigger, an online training-free trigger that selectively activates color capture based on windowed grayscale affinity analysis. Designed for real-time edge deployment, ColorTrigger uses lightweight quadratic programming to detect chromatic redundancy causally, coupled with credit-budgeted control and dynamic token routing to jointly reduce sensing and inference costs. On streaming video understanding benchmarks, ColorTrigger achieves 91.6% of full-color baseline performance while using only 8.1% RGB frames, demonstrating substantial color redundancy in natural videos and enabling practical always-on video sensing on resource-constrained devices.
- Abstract(参考訳): 次世代のエッジ/ウェアラブルAIシステムには、常にオンセンサーが不可欠だが、連続した高忠実なRGBビデオキャプチャーは、リソースに制約のあるモバイルおよびエッジプラットフォームでは違法に高価である。
グレースケール・アレンジ,カラー・オン・デマンドという,効率的なストリーミングビデオ理解のための新しいパラダイムを提案する。
予備的な研究により、色は必ずしも必要ではないことが判明した。
連続的なグレースケールストリームを通じて時間構造を保存する場合、スパースRGBフレームは同等のパフォーマンスで十分である。
この知見に基づいて、カラーキャプチャを選択的に活性化するオンライントレーニングフリートリガであるColorTriggerを提案する。
リアルタイムエッジデプロイメント用に設計されたColorTriggerは、ライトウェイトな二次プログラミングを使用して、色の冗長性を因果的に検出し、クレジット予算制御と動的トークンルーティングを併用することで、検知と推論のコストを共同で削減する。
ストリーミングビデオ理解ベンチマークでは、ColorTriggerは8.1%のRGBフレームを使用しながらフルカラーのベースライン性能の91.6%を達成した。
関連論文リスト
- SwiTrack: Tri-State Switch for Cross-Modal Object Tracking [74.15663758681849]
クロスモーダルオブジェクトトラッキング(CMOT)は、ビデオストリームが異なるモード間で切り替える間、ターゲットの一貫性を維持する新しいタスクである。
SwiTrackは3つの特別なストリームを配置することでCMOTを再定義する新しいステートスイッチングフレームワークである。
論文 参考訳(メタデータ) (2025-11-20T10:52:54Z) - Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking [74.15663758681849]
凍結したRGBトラッカーに軽量なプロンプトを注入するデュアルアダプタフレームワークであるLearning Frequency and Memory-Aware Promptsを紹介する。
周波数誘導型ビジュアルアダプタは、相補的なキューをモダリティ間で適応的に転送する。
短い、長い、永続的なメモリストアを持つマルチレベルメモリアダプタは、信頼できる時間的コンテキストを格納し、更新し、取得する。
論文 参考訳(メタデータ) (2025-06-30T15:38:26Z) - VanGogh: A Unified Multimodal Diffusion-based Framework for Video Colorization [53.35016574938809]
ビデオのカラー化は、時間的一貫性と構造的整合性を維持しながら、グレースケールのビデオを鮮やかな色表現に変換することを目的としている。
既存のビデオカラー化法は、しばしば色出血に悩まされ、包括的な制御が欠如している。
我々はVanGoghを紹介した。VanGoghはビデオカラー化のためのマルチモーダル拡散に基づく統合フレームワークである。
論文 参考訳(メタデータ) (2025-01-16T12:20:40Z) - LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。
既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。
我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
論文 参考訳(メタデータ) (2024-05-09T12:06:06Z) - Event-based Continuous Color Video Decompression from Single Frames [36.4263932473053]
本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - Improving Video Colorization by Test-Time Tuning [79.67548221384202]
テスト時間チューニングによる映像の着色性向上を目的とした,効果的な手法を提案する。
提案手法は,テスト中に追加のトレーニングサンプルを構築するための基準を利用して,PSNRにおいて平均13dBの性能向上を実現している。
論文 参考訳(メタデータ) (2023-06-25T05:36:40Z) - GTM: Gray Temporal Model for Video Recognition [2.534039616389072]
ビデオからRGBへの変換プロセスをスキップできるが、チャネル時間モデリングの能力も向上する。
また,計算予算内でのチャネル機能レベルでの時間的関係をキャプチャする1D単位の時空間畳み込み(1D-ICSC)を提案する。
論文 参考訳(メタデータ) (2021-10-20T02:45:48Z) - Temporally Consistent Video Colorization with Deep Feature Propagation
and Self-regularization Learning [90.38674162878496]
時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。
TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。
実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
論文 参考訳(メタデータ) (2021-10-09T13:00:14Z) - VCGAN: Video Colorization with Hybrid Generative Adversarial Network [22.45196398040388]
ハイブリッド生成適応ネットワーク(VCGAN)によるハイブリッド映像のカラー化は、エンドツーエンド学習を用いたカラー化への改良されたアプローチである。
実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
論文 参考訳(メタデータ) (2021-04-26T05:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。