論文の概要: Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow
- arxiv url: http://arxiv.org/abs/2303.05214v1
- Date: Thu, 9 Mar 2023 12:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:59:22.443444
- Title: Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow
- Title(参考訳): 逐次・低レイテンシ・イベントベース光フロー学習のための処理コントラスト最大化
- Authors: Federico Paredes-Vall\'es, Kirk Y. W. Scheper, Christophe De Wagter,
Guido C. H. E. de Croon
- Abstract要約: イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。
本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
- 参考スコア(独自算出の注目度): 13.720116507880807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras have recently gained significant traction since they open up
new avenues for low-latency and low-power solutions to complex computer vision
problems. To unlock these solutions, it is necessary to develop algorithms that
can leverage the unique nature of event data. However, the current
state-of-the-art is still highly influenced by the frame-based literature, and
usually fails to deliver on these promises. In this work, we take this into
consideration and propose a novel self-supervised learning pipeline for the
sequential estimation of event-based optical flow that allows for the scaling
of the models to high inference frequencies. At its core, we have a
continuously-running stateful neural model that is trained using a novel
formulation of contrast maximization that makes it robust to nonlinearities and
varying statistics in the input events. Results across multiple datasets
confirm the effectiveness of our method, which establishes a new state of the
art in terms of accuracy for approaches trained or optimized without ground
truth.
- Abstract(参考訳): イベントカメラは最近、複雑なコンピュータビジョン問題に対する低レイテンシと低消費電力のソリューションの新たな道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用できるアルゴリズムを開発する必要がある。
しかし、現在の最先端技術は依然としてフレームベースの文学の影響を受けており、通常はこれらの約束を達成できない。
本研究では,このことを考慮し,モデルから高い推論周波数へのスケーリングを可能にするイベントベース光フローの逐次推定のための,新しい自己教師付き学習パイプラインを提案する。
その中核は、コントラスト最大化の新たな定式化を用いて訓練され、入力イベントにおける非線形性と様々な統計に頑健である、連続的に動作するステートフルニューラルネットワークである。
複数のデータセットにまたがる結果から,本手法の有効性が確認された。
関連論文リスト
- Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳(メタデータ) (2022-04-14T22:58:30Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via
Online High-Confidence Change-Point Detection [7.685002911021767]
非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。
これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。
i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
論文 参考訳(メタデータ) (2021-05-20T01:57:52Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳(メタデータ) (2021-03-05T04:14:32Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳(メタデータ) (2020-09-17T13:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。