論文の概要: Leveraging Motion Estimation for Efficient Bayer-Domain Computer Vision

• arxiv url: http://arxiv.org/abs/2501.15119v2
• Date: Thu, 14 Aug 2025 02:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 13:42:22.943684
• Title: Leveraging Motion Estimation for Efficient Bayer-Domain Computer Vision
• Title（参考訳）: 効率的なバイエルドメインコンピュータビジョンのためのレバレッジ動作推定法
• Authors: Haichao Wang, Xinyue Xi, Jiangtao Wen, Yuxing Han,
• Abstract要約: 既存のコンピュータビジョン処理パイプラインは、バイエルパターンの画素情報をキャプチャする画像センサを用いて視覚情報を取得する。 次に、まずバイヤー画素データを画素ベースでRGBに変換し、次いでフレームベースでビデオ畳み込みネットワーク(VCN)処理を行う画像信号処理装置(ISP)を用いて生センサデータを処理する。 本稿では,ISPを排除し,モーション推定を利用してバイエル領域の映像ビジョンタスクを直接高速化する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.940116042097847
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing computer vision processing pipeline acquires visual information using an image sensor that captures pixel information in the Bayer pattern. The raw sensor data are then processed using an image signal processor (ISP) that first converts Bayer pixel data to RGB on a pixel by pixel basis, followed by video convolutional network (VCN) processing on a frame by frame basis. Both ISP and VCN are computationally expensive with high power consumption and latency. In this paper, we propose a novel framework that eliminates the ISP and leverages motion estimation to accelerate video vision tasks directly in the Bayer domain. We introduce Motion Estimation-based Video Convolution (MEVC), which integrates sliding-window motion estimation into each convolutional layer, enabling prediction and residual-based refinement that reduces redundant computations across frames. This design bridges the structural gap between block-based motion estimation and spatial convolution, enabling accurate, low-cost processing. Our end-to-end pipeline supports raw Bayer input and achieves over 70\% reduction in FLOPs with minimal accuracy degradation across video semantic segmentation, depth estimation, and object detection benchmarks, using both synthetic Bayer-converted and real Bayer video datasets. This framework generalizes across convolution-based models and marks the first effective reuse of motion estimation for accelerating video computer vision directly from raw sensor data.
• Abstract（参考訳）: 既存のコンピュータビジョン処理パイプラインは、バイエルパターンの画素情報をキャプチャする画像センサを用いて視覚情報を取得する。 次に、まずバイヤー画素データを画素ベースでRGBに変換し、次いでフレームベースでビデオ畳み込みネットワーク(VCN)処理を行う画像信号処理装置(ISP)を用いて生センサデータを処理する。 ISPもVCNも計算コストが高く、消費電力もレイテンシも高い。 本稿では,ISPを排除し,モーション推定を利用してバイエル領域の映像ビジョンタスクを直接高速化する新しいフレームワークを提案する。 本稿では,各畳み込み層にスライディング・ウインドウ・モーション推定を統合し,フレーム間の冗長な計算を低減した残差補正と予測を可能にする動き推定に基づくビデオ・コンボリューション(MEVC)を提案する。 この設計はブロックベースの動き推定と空間畳み込みの間の構造的ギャップを埋め、正確で低コストな処理を可能にする。 我々のエンドツーエンドパイプラインは、生のBaier入力をサポートし、合成Baier変換と実Baierビデオデータセットの両方を用いて、ビデオセマンティックセグメンテーション、深さ推定、オブジェクト検出ベンチマークにおいて、FLOPの70%以上を最小限の精度で削減する。 このフレームワークは、畳み込みモデルにまたがって一般化され、生のセンサデータから直接ビデオコンピュータビジョンを加速するために、モーション推定を効果的に再利用する最初の方法となった。

関連論文リスト

• BiVM: Accurate Binarized Neural Network for Efficient Video Matting [56.000594826508504]
  リアルタイムビデオマッチングのためのディープニューラルネットワークは、エッジデバイスに重大な計算制限を被る。 ビデオマッティングのための正確でリソース効率のよいバイナリニューラルネットワークであるBiVMを提案する。 BiVMは、最先端(SOTA)バイナライゼーション手法を含む、代替のバイナライズされたビデオマッティングネットワークをかなり上回っている。
  論文  参考訳（メタデータ） (2025-07-06T16:32:37Z)
• Towards Efficient Real-Time Video Motion Transfer via Generative Time Series Modeling [7.3949576464066]
  本研究では,モーショントランスファー対応ビデオアプリケーションにおいて,帯域幅を大幅に最適化する深層学習フレームワークを提案する。 複雑な動きを効果的に捉えるために,キーポイントを検出することで動的物体を符号化する第1次運動モデル(FOMM)を用いる。 ビデオアニメーションと再構成のために, 平均絶対誤差, 共同埋め込み予測アーキテクチャ埋め込み距離, 構造類似度指数, 平均ペアワイズ変位の3つの指標を用いて, 実験結果を検証した。
  論文  参考訳（メタデータ） (2025-04-07T22:21:54Z)
• Efficient Visual State Space Model for Image Deblurring [99.54894198086852]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。 提案したEVSSMは、ベンチマークデータセットや実世界の画像に対する最先端の手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• Enhancing Bandwidth Efficiency for Video Motion Transfer Applications using Deep Learning Based Keypoint Prediction [4.60378493357739]
  本稿では,モーショントランスファー対応ビデオアプリケーションにおける帯域幅削減のための,ディープラーニングに基づく新しい予測フレームワークを提案する。 リアルタイムアプリケーションでは,最大2倍の帯域幅削減を実現し,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2024-03-17T20:36:43Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision [59.632286735304156]
  コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。 再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T03:04:57Z)
• RN-Net: Reservoir Nodes-Enabled Neuromorphic Vision Sensing Network [7.112892720740359]
  イベントベースのカメラは、生物学的視覚系のスパイクと非同期スパイク表現にインスパイアされている。 本稿では,局所的および大域的貯水池の動的時間エンコーディングと統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。 RN-Netはこれまでに報告されたDV128 Gestureの99.2%の最高精度を達成しており、DVS Lipデータセットの67.5%の最高精度の1つである。
  論文  参考訳（メタデータ） (2023-03-19T21:20:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
  汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。 ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。 そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T13:47:30Z)
• Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
  本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。 MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
  論文  参考訳（メタデータ） (2022-07-27T08:57:48Z)
• RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement [0.0]
  光ニューラルネットワーク(ONN)は、超低レイテンシとエネルギー消費を持つ有望な加速器である。 我々は、周波数領域のデータを符号化する乗法的アナログ周波数変換ONN(MAFT-ONN)を導入する。 我々は、生のRF信号で完全にアナログのディープラーニングを演算する最初のハードウェアアクセラレータを実験的に実証した。
  論文  参考訳（メタデータ） (2022-07-08T16:37:13Z)
• P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained TinyML Applications [4.102356304183255]
  高い解像度の入力画像は、カメラとAI処理ユニットの間でフレームごとにストリームされ、エネルギー、帯域幅、セキュリティボトルネックを引き起こす必要がある。 本稿では,アナログマルチチャネル,マルチビット畳み込み,ReLUのサポートを追加して画素配列をカスタマイズする,新しいProcessing-in-Pixel-in-Memory(P2M)パラダイムを提案する。 以上の結果から,P2Mはセンサやアナログからデジタル変換へのデータ転送帯域を21倍に削減し,TinyML上でMobileNetV2モデルを処理する際に発生するエネルギ遅延生成物(EDP)が得られた。
  論文  参考訳（メタデータ） (2022-03-07T04:15:29Z)
• Highly-Efficient Binary Neural Networks for Visual Place Recognition [24.674034243725455]
  VPRは、既知の位置が検出された場合にロボットが作業空間に自分自身をローカライズできるようにするため、自律ナビゲーションの基本的なタスクである。 CNNベースの技術は最先端のVPR性能をアーカイブするが、計算集約的でエネルギー需要が高い。 本稿では,第1の畳み込み層を置き換えるために,深く分離可能な因子分解とバイナライゼーションを組み合わせたVPR用BNNのクラスを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:05:11Z)
• Neural Residual Flow Fields for Efficient Video Representations [5.904082461511478]
  入射神経表現(INR)は、画像、ビデオ、3D形状などの信号を表現するための強力なパラダイムとして登場した。 本稿では,データ冗長性を明示的に取り除き,ビデオの表現と圧縮を行う新しいINR手法を提案する。 本稿では,提案手法がベースライン法よりも有意差で優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-12T06:22:09Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• VideoPose: Estimating 6D object pose from videos [14.210010379733017]
  我々は、畳み込みニューラルネットワークを用いて、ビデオから直接オブジェクトのポーズを推定する、単純だが効果的なアルゴリズムを導入する。 提案するネットワークは、トレーニング済みの2Dオブジェクト検出器を入力として、リカレントニューラルネットワークを介して視覚的特徴を集約し、各フレームで予測を行う。 YCB-Videoデータセットの実験的評価から,本手法は最先端のアルゴリズムと同等であることがわかった。
  論文  参考訳（メタデータ） (2021-11-20T20:57:45Z)
• Dynamic Gesture Recognition [0.0]
  従来のコンピュータビジョンアルゴリズムの代わりに、機械学習を使って画像や動画を分類することができる。 このプロジェクトの目的は、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の共生を構築することである。
  論文  参考訳（メタデータ） (2021-09-20T09:45:29Z)
• Personal Privacy Protection via Irrelevant Faces Tracking and Pixelation in Video Live Streaming [61.145467627057194]
  我々は、ビデオライブストリーミングにおいて、自動プライバシーフィルタリングを生成するためのFace Pixelationと呼ばれる新しい方法を開発した。 無関係な人々の顔の高速かつ正確なピクセル化のために、FPVLSは2つのコアステージのフレームツービデオ構造で構成されています。 収集したビデオライブストリーミングデータセットにおいて、FPVLSは満足度の高い精度、リアルタイム効率を取得し、オーバーピクセル問題を含む。
  論文  参考訳（メタデータ） (2021-01-04T16:18:26Z)
• CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
  畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。 CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。 近年,圧縮領域から直接学習できる深層学習手法が注目されている。
  論文  参考訳（メタデータ） (2020-12-26T15:00:10Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。