論文の概要: TIDE: Temporally Incremental Disparity Estimation via Pattern Flow in Structured Light System

• arxiv url: http://arxiv.org/abs/2310.08932v1
• Date: Fri, 13 Oct 2023 07:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:53:48.219575
• Title: TIDE: Temporally Incremental Disparity Estimation via Pattern Flow in Structured Light System
• Title（参考訳）: TIDE:構造光系のパターンフローによる時間的インクリメンタル異方性推定
• Authors: Rukun Qiao, Hiroshi Kawasaki, Hongbin Zha
• Abstract要約: TIDE-Netはモノカメラ構造光システムにおける差分計算の学習手法である。 得られた画像列に投影されたパターン(パターンフロー)の変形を利用して時間情報をモデル化する。 入力フレーム毎に、パターンフローに歪んだ相関ボリューム(現在のフレームから)と不均一(以前のフレームから)を融合する。
• 参考スコア（独自算出の注目度）: 17.53719804060679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduced Temporally Incremental Disparity Estimation Network (TIDE-Net), a learning-based technique for disparity computation in mono-camera structured light systems. In our hardware setting, a static pattern is projected onto a dynamic scene and captured by a monocular camera. Different from most former disparity estimation methods that operate in a frame-wise manner, our network acquires disparity maps in a temporally incremental way. Specifically, We exploit the deformation of projected patterns (named pattern flow ) on captured image sequences, to model the temporal information. Notably, this newly proposed pattern flow formulation reflects the disparity changes along the epipolar line, which is a special form of optical flow. Tailored for pattern flow, the TIDE-Net, a recurrent architecture, is proposed and implemented. For each incoming frame, our model fuses correlation volumes (from current frame) and disparity (from former frame) warped by pattern flow. From fused features, the final stage of TIDE-Net estimates the residual disparity rather than the full disparity, as conducted by many previous methods. Interestingly, this design brings clear empirical advantages in terms of efficiency and generalization ability. Using only synthetic data for training, our extensitve evaluation results (w.r.t. both accuracy and efficienty metrics) show superior performance than several SOTA models on unseen real data. The code is available on https://github.com/CodePointer/TIDENet.
• Abstract（参考訳）: 単眼構造光システムにおける不等式計算のための学習ベース手法であるtide-net(temporlyly incremental disparity estimation network)を導入した。 ハードウェアの設定では、静的なパターンが動的シーンに投影され、単眼カメラでキャプチャされます。 フレームワイドで動作する従来の分散度推定手法とは異なり、ネットワークは時間的に漸進的に不均一度マップを取得する。 具体的には,撮影された画像列における投影パターン(パターンフロー)の変形を利用して,時間情報をモデル化する。 特に、この新たなパターンフローの定式化は、光フローの特別な形態であるエピポーラ線に沿った不均一性の変化を反映している。 パターンフローを前提とした再帰型アーキテクチャであるTIDE-Netが提案され,実装されている。 入力フレーム毎に,パターンフローに歪んだ相関ボリューム(現在のフレームから)と不一致(以前のフレームから)を融合させる。 融合した特徴から、TIDE-Netの最終段階は、多くの従来の手法で実施されたように、完全格差よりも残留格差を推定する。 興味深いことに、この設計は効率性と一般化能力の観点から明らかに実証的な利点をもたらす。 トレーニングに合成データのみを用いると、拡張評価結果(精度と効率の両面で)は、実データに対する複数のSOTAモデルよりも優れた性能を示す。 コードはhttps://github.com/CodePointer/TIDENetで入手できる。

関連論文リスト

• STLight: a Fully Convolutional Approach for Efficient Predictive Learning by Spatio-Temporal joint Processing [6.872340834265972]
  チャネルワイドおよび深度ワイドの畳み込みを学習可能な層としてのみ依存する,S時間学習のための新しい方法STLightを提案する。 STLightは、空間次元と時間次元を並べ替えることで、従来の畳み込みアプローチの限界を克服する。 本アーキテクチャは,データセットや設定のSTLベンチマーク上での最先端性能を実現するとともに,パラメータや計算FLOPの計算効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-11-15T13:53:19Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Training and Predicting Visual Error for Real-Time Applications [6.687091041822445]
  コンボリューションニューラルネットワークが参照または描画画像を必要とすることなく、様々な視覚メトリクスを予測する能力について検討する。 我々のソリューションは、ほとんどの最先端の遅延シェーディングパイプラインで容易に利用できる画像空間情報と、以前のフレームからの再投影を組み合わせることで、視覚的エラーを適切に見積もることができる。
  論文  参考訳（メタデータ） (2023-10-13T14:14:00Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
  本稿では,従来の光流量推定法について再考する。 我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
  論文  参考訳（メタデータ） (2023-03-15T06:00:38Z)
• AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation [81.87943324048756]
  ビデオセグメンテーションでは、フレーム間で時間的に一貫した結果を生成することは、フレームワイドの精度を達成するのと同じくらい重要である。 既存の方法は、時間的整合性を達成するために、テストデータによる光フローの正則化や微調整に依存している。 本稿では、ほとんどのニューラルネットワークモデルの時間的一貫性を改善するために、効率的で直感的で教師なしのオンライン適応手法であるAuxAdaptを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:07:41Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。