論文の概要: FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis

• arxiv url: http://arxiv.org/abs/2605.23428v1
• Date: Fri, 22 May 2026 09:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.292956
• Title: FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis
• Title（参考訳）: FAST-ME: 効率的なIoTビデオ解析のための運動推定のための基礎認識型適応ストッピング
• Authors: Kakia Panagidi, Stathes Hadjieftymiadis,
• Abstract要約: 本研究では,映像フレーム間の差分評価に基づくブロック動作推定アルゴリズムを提案する。 また、ファンデーションモデル(FM)と近代的な意思決定プロセスを統合する意味認識型動き推定フレームワークを提案する。 提案手法は,精度の低下を最小限に抑えながら歪みを著しく低減し,セマンティックカバレッジを向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In modern multimedia systems, efficient video processing is critical, especially in resource-constrained environments such as IoT-based camera networks, autonomous platforms, and wireless sensor multimedia systems. A key bottleneck in video compression and understanding is block motion estimation (ME), a process that remains computationally expensive despite the development of fast search techniques. This work introduces an Optimal Stopping Theory (OST) algorithm for block motion estimation based on the assessment of spatiotemporal differences within and across video frames. It also proposes a semantic-aware motion estimation framework that integrates Foundation Models (FMs) with the OST-based decision process. By leveraging pretrained visual models such as Vision Transformers (ViT) and the Segment Anything Model (SAM), the framework extracts semantic attention scores that indicate the importance of motion within specific spatial regions. These scores are fused with traditional distortion-based metrics, such as the Sum of Absolute Differences (SAD), to guide a hybrid stopping criterion that jointly considers motion magnitude and semantic relevance. The resulting adaptive algorithm stops early in redundant regions while continuing the search in areas where motion is semantically significant. Experiments compare the proposed solution with widely used approaches from the literature on benchmark and multimodal video datasets. The proposed method achieves a significant reduction in computation with minimal accuracy loss and improved semantic coverage. The results highlight the benefits of bridging low-level motion analysis with high-level semantic reasoning, offering a promising direction for efficient multimodal video understanding in next-generation smart systems.
• Abstract（参考訳）: 現代のマルチメディアシステムでは、特にIoTベースのカメラネットワーク、自律プラットフォーム、ワイヤレスセンサーマルチメディアシステムといったリソース制約のある環境では、効率的なビデオ処理が重要である。 ビデオ圧縮と理解における重要なボトルネックはブロックモーション推定(ME)である。 本研究は,ビデオフレーム間の時空間差の評価に基づくブロック動作推定のための最適停止理論(OST)アルゴリズムを提案する。 また,基礎モデル(FM)とOSTに基づく意思決定プロセスを統合する意味認識型動作推定フレームワークを提案する。 ViT(Vision Transformers)やSAM(Segment Anything Model)といった事前訓練された視覚モデルを活用することで、特定の空間領域における動きの重要性を示すセマンティックアテンションスコアを抽出する。 これらのスコアはSAD(Sum of Absolute differences)のような従来の歪みに基づくメトリクスと融合し、動きの大きさと意味的関連性を共同で考慮するハイブリッド停止基準を導出する。 結果として得られた適応アルゴリズムは、動作が意味的に重要な領域を探索しながら、冗長な領域で早期に停止する。 実験は、提案されたソリューションと、ベンチマークとマルチモーダルビデオデータセットに関する文献から広く使われているアプローチを比較した。 提案手法は,精度の低下を最小限に抑え,セマンティックカバレッジを向上させることで,計算の大幅な削減を実現する。 その結果,次世代スマートシステムにおいて,高レベルのセマンティック推論による低レベル動作解析をブリッジすることで,マルチモーダル映像の効率的な理解に有望な方向性を提供するという利点が浮き彫りになった。

関連論文リスト

• Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
  MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。 生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。 我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
  論文  参考訳（メタデータ） (2025-06-01T13:28:04Z)
• Multiscale Motion-Aware and Spatial-Temporal-Channel Contextual Coding Network for Learned Video Compression [24.228981098990726]
  動画圧縮ネットワーク(MASTC-VC)を提案する。 提案するMASTC-VCは,3つの公開ベンチマークデータセット上での従来の最先端(SOTA)手法よりも優れている。 提案手法は,PSNRのH.265/HEVC(HM-16.20)に対して平均10.15%のBDレートを,MS-SSIMのH.266/VVC(VTM-13.2)に対して平均23.93%のBDレートを節約する。
  論文  参考訳（メタデータ） (2023-10-19T13:32:38Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Self-Supervised Learning of Perceptually Optimized Block Motion Estimates for Video Compression [50.48504867843605]
  多段階畳み込みニューラルネットワークを用いた探索自由ブロック運動推定フレームワークを提案する。 動作補償フレームの知覚品質を最適化するために,マルチスケール構造類似度(MS-SSIM)損失関数をデプロイする。
  論文  参考訳（メタデータ） (2021-10-05T03:38:43Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。