論文の概要: Breaking of brightness consistency in optical flow with a lightweight CNN network

• arxiv url: http://arxiv.org/abs/2310.15655v2
• Date: Mon, 27 May 2024 02:41:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 10:35:18.124234
• Title: Breaking of brightness consistency in optical flow with a lightweight CNN network
• Title（参考訳）: 軽量CNNネットワークによる光流の輝度一貫性の破壊
• Authors: Yicheng Lin, Shuo Wang, Yunlong Jiang, Bin Han,
• Abstract要約: この研究では、軽量ネットワークを用いて、強い不変性を持つ堅牢な畳み込み特徴やコーナーを抽出する。 畳み込み特性の整合性に対する光学流法の典型的な輝度の整合性を変化させると、光ローバストハイブリッド光流法が得られる。 VINS-Monoの光学フロー法を置き換えることにより,より正確な視覚慣性システムを構築する。
• 参考スコア（独自算出の注目度）: 7.601414191389451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse optical flow is widely used in various computer vision tasks, however assuming brightness consistency limits its performance in High Dynamic Range (HDR) environments. In this work, a lightweight network is used to extract illumination robust convolutional features and corners with strong invariance. Modifying the typical brightness consistency of the optical flow method to the convolutional feature consistency yields the light-robust hybrid optical flow method. The proposed network runs at 190 FPS on a commercial CPU because it uses only four convolutional layers to extract feature maps and score maps simultaneously. Since the shallow network is difficult to train directly, a deep network is designed to compute the reliability map that helps it. An end-to-end unsupervised training mode is used for both networks. To validate the proposed method, we compare corner repeatability and matching performance with origin optical flow under dynamic illumination. In addition, a more accurate visual inertial system is constructed by replacing the optical flow method in VINS-Mono. In a public HDR dataset, it reduces translation errors by 93\%. The code is publicly available at https://github.com/linyicheng1/LET-NET.
• Abstract（参考訳）: スパース光フローは様々なコンピュータビジョンタスクで広く使われているが、輝度の一貫性がハイダイナミックレンジ(HDR)環境での性能を制限すると仮定する。 本研究では,光の強い畳み込み特性と強い不変性を持つコーナーを抽出するために,軽量ネットワークを用いる。 畳み込み特性の整合性に対する光学流法の典型的な輝度の整合性を変化させると、光ローバストハイブリッド光流法が得られる。 提案するネットワークは,4つの畳み込み層のみを使用して特徴マップとスコアマップを同時に抽出するため,商用CPU上で190 FPSで動作する。 浅層ネットワークを直接訓練することは難しいため、深層ネットワークは信頼性マップを計算してそれを支援するように設計されている。 両ネットワークでエンドツーエンドの教師なしトレーニングモードが使用される。 提案手法の有効性を検証するため, 動的照明下でのコーナーリピータビリティと原点光流のマッチング性能を比較した。 さらに、VINS-Monoの光学フロー法を置き換えることにより、より正確な視覚慣性システムを構築する。 パブリックなHDRデータセットでは、翻訳エラーを93\%削減する。 コードはhttps://github.com/linyicheng1/LET-NETで公開されている。

関連論文リスト

• Context-Aware Iteration Policy Network for Efficient Optical Flow Estimation [19.077966606237897]
  我々は,効率的な光フロー推定のためのコンテキスト認識反復ポリシーネットワークを開発した。 Sintel/KITTIデータセットのFLOPを約40%/20%削減しながら性能を維持できる。
  論文  参考訳（メタデータ） (2023-12-12T11:27:13Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• FatNet: High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks [0.3867363075280543]
  本稿では,従来のシリコン内分類網の光学的完全畳み込みニューラルネットワークへの変換について述べる。 本稿では、自由空間加速度とより互換性のある画像分類のためのFatNetを提案する。 その結果、元のネットワークに比べて6%低いコストで、畳み込み操作が8.2倍少ないことがわかった。
  論文  参考訳（メタデータ） (2022-10-30T18:31:46Z)
• Time-lapse image classification using a diffractive neural network [0.0]
  回折ネットワークを用いたタイムラプス画像分類方式を初めて示す。 CIFAR-10データセットからの物体の光学的分類におけるブラインドテスト精度は62.03%である。 これは、これまで1つの回折ネットワークを用いて達成された最も高い推測精度を構成する。
  論文  参考訳（メタデータ） (2022-08-23T08:16:30Z)
• Lightweight Salient Object Detection in Optical Remote Sensing Images via Feature Correlation [93.80710126516405]
  本稿では,これらの問題に対処する軽量ORSI-SODソリューションであるCorrNetを提案する。 それぞれのコンポーネントのパラメータと計算を減らし、CorrNetは4.09Mのパラメータしか持たず、21.09GのFLOPで実行している。 2つの公開データセットの実験結果から、私たちの軽量なCorrNetは、26の最先端メソッドと比較して、競争力やパフォーマンスがさらに向上することが示された。
  論文  参考訳（メタデータ） (2022-01-20T08:28:01Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Knowledge Distillation Circumvents Nonlinearity for Optical Convolutional Neural Networks [4.683612295430957]
  本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。 KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
  論文  参考訳（メタデータ） (2021-02-26T06:35:34Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。