論文の概要: ChiTransformer:Towards Reliable Stereo from Cues

• arxiv url: http://arxiv.org/abs/2203.04554v4
• Date: Wed, 1 Nov 2023 03:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 18:47:20.596521
• Title: ChiTransformer:Towards Reliable Stereo from Cues
• Title（参考訳）: ChiTransformer:キューから信頼性の高いステレオへ
• Authors: Qing Su, Shihao Ji
• Abstract要約: 現在のステレオマッチング技術は、制限された探索空間、隠蔽領域、およびせん断サイズによって挑戦される。 本稿では,光学機構にインスパイアされた自己監督型両眼深度推定法を提案する。 ChiTransformerアーキテクチャは、最先端の自己教師型ステレオアプローチよりも11%大幅に改善されている。
• 参考スコア（独自算出の注目度）: 10.756828396434033
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current stereo matching techniques are challenged by restricted searching space, occluded regions and sheer size. While single image depth estimation is spared from these challenges and can achieve satisfactory results with the extracted monocular cues, the lack of stereoscopic relationship renders the monocular prediction less reliable on its own, especially in highly dynamic or cluttered environments. To address these issues in both scenarios, we present an optic-chiasm-inspired self-supervised binocular depth estimation method, wherein a vision transformer (ViT) with gated positional cross-attention (GPCA) layers is designed to enable feature-sensitive pattern retrieval between views while retaining the extensive context information aggregated through self-attentions. Monocular cues from a single view are thereafter conditionally rectified by a blending layer with the retrieved pattern pairs. This crossover design is biologically analogous to the optic-chasma structure in the human visual system and hence the name, ChiTransformer. Our experiments show that this architecture yields substantial improvements over state-of-the-art self-supervised stereo approaches by 11%, and can be used on both rectilinear and non-rectilinear (e.g., fisheye) images. Project is available at https://github.com/ISL-CV/ChiTransformer.
• Abstract（参考訳）: 現在のステレオマッチング技術は、制限された探索空間、隠蔽領域、およびせん断サイズによって挑戦される。 単一画像深度推定はこれらの課題から回避され、抽出された単眼手がかりで満足な結果が得られるが、立体的関係の欠如は単眼予測の信頼性を低下させる。 そこで本研究では,視覚トランスフォーマ(vit)とゲート位置クロスアテンション(gpca)層を併用した視覚トランスフォーマ(vit)を用いて,自己アテンションによって集約された広義のコンテキスト情報を保持しつつ,画像間の特徴に敏感なパターン検索を可能にする。 その後、取得したパターン対とのブレンディング層により、単一のビューからの単眼的手がかりを条件的に修正する。 このクロスオーバーデザインは、人間の視覚系における視カオス構造と生物学的に類似しており、それゆえchitransformerという名前である。 実験により,本アーキテクチャは最先端の自己教師型ステレオアプローチよりも11%向上し,リチリニアおよび非直立線形(魚眼など)の画像でも使用できることがわかった。 プロジェクトはhttps://github.com/isl-cv/chitransformerで入手できる。

関連論文リスト

• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• CroCo v2: Improved Cross-view Completion Pre-training for Stereo Matching and Optical Flow [22.161967080759993]
  自己教師付き事前学習法は、ステレオマッチングや光学フローのような密集した幾何学的視覚タスクでは、まだ提供されていない。 我々は、同じシーンから2番目のビューを利用するマスク付き画像モデリングのバリエーションである、最近のクロスビュー補完フレームワークの上に構築する。 本稿では,ステレオマッチングと光学的流れに関する最先端の成果を,従来のタスク固有の手法を使わずに到達できることを初めて示す。
  論文  参考訳（メタデータ） (2022-11-18T18:18:53Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• Multi-Frame Self-Supervised Depth with Transformers [33.00363651105475]
  本稿では,コストボリューム生成のためのトランスフォーマーアーキテクチャを提案する。 深度分布型エピポーラサンプリングを用いて、マッチング候補を選択する。 私たちは、一連の自己と横断的なレイヤを通じて予測を洗練します。
  論文  参考訳（メタデータ） (2022-04-15T19:04:57Z)
• DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
  高精度な単分子深度推定には長距離相関が不可欠である。 我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。 提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
  論文  参考訳（メタデータ） (2022-03-27T05:03:56Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics [13.7258515433446]
  自己教師付き単眼深度推定は3次元シーン理解において重要な課題である。 自己教師付き単眼深度推定のための視覚変換器の適応方法を示す。 本研究は,トランスフォーマーをベースとしたアーキテクチャが,より堅牢で汎用性の高い性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-02-07T13:17:29Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)
• CodedStereo: Learned Phase Masks for Large Depth-of-field Stereo [24.193656749401075]
  従来のステレオは、画像量と信号対雑音比の基本的なトレードオフに悩まされている。 本稿では,この制限を克服する新たなエンドツーエンド学習手法を提案する。 シミュレーションで画像化できる体積の6倍の増加を示します。
  論文  参考訳（メタデータ） (2021-04-09T23:44:52Z)
• Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation [51.714092199995044]
  多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。 本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。 深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
  論文  参考訳（メタデータ） (2020-08-17T07:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。