論文の概要: GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network

• arxiv url: http://arxiv.org/abs/2009.07823v4
• Date: Mon, 5 Apr 2021 14:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 00:32:31.977790
• Title: GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network
• Title（参考訳）: GOCor:グローバルに最適化された対応ボリュームをニューラルネットワークに導入
• Authors: Prune Truong, Martin Danelljan, Luc Van Gool, Radu Timofte
• Abstract要約: 特徴相関層は、画像ペア間の密接な対応を含むコンピュータビジョン問題において、重要なニューラルネットワークモジュールとして機能する。 我々は,特徴相関層の直接置換として機能する,完全に微分可能な密マッチングモジュール GOCor を提案する。 本手法は,幾何マッチング,光学フロー,密接なセマンティックマッチングのタスクにおいて,特徴相関層を著しく上回っている。
• 参考スコア（独自算出の注目度）: 176.3781969089004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The feature correlation layer serves as a key neural network module in numerous computer vision problems that involve dense correspondences between image pairs. It predicts a correspondence volume by evaluating dense scalar products between feature vectors extracted from pairs of locations in two images. However, this point-to-point feature comparison is insufficient when disambiguating multiple similar regions in an image, severely affecting the performance of the end task. We propose GOCor, a fully differentiable dense matching module, acting as a direct replacement to the feature correlation layer. The correspondence volume generated by our module is the result of an internal optimization procedure that explicitly accounts for similar regions in the scene. Moreover, our approach is capable of effectively learning spatial matching priors to resolve further matching ambiguities. We analyze our GOCor module in extensive ablative experiments. When integrated into state-of-the-art networks, our approach significantly outperforms the feature correlation layer for the tasks of geometric matching, optical flow, and dense semantic matching. The code and trained models will be made available at github.com/PruneTruong/GOCor.
• Abstract（参考訳）: 特徴相関層は、画像ペア間の密接な対応を伴う多数のコンピュータビジョン問題において、重要なニューラルネットワークモジュールとして機能する。 2つの画像中の2つの位置から抽出された特徴ベクトル間の密スカラー積を評価することで対応量を予測する。 しかし、画像内の複数の類似領域を曖昧にする場合、このポイント・ツー・ポイントの特徴比較は不十分であり、エンドタスクの性能に重大な影響を及ぼす。 我々は,特徴相関層の直接置換として機能する,完全に微分可能な密マッチングモジュール GOCor を提案する。 モジュールが生成する対応ボリュームは,シーン内の類似領域を明示的に考慮した内部最適化手順の結果である。 さらに,提案手法は,空間的マッチング前処理を効果的に学習し,さらにあいまいさを解消する。 GOCorモジュールを広範囲なアブレーション実験で解析する。 現状のネットワークに組み込むと、幾何学的マッチングや光学的フロー、密接なセマンティックマッチングといったタスクにおいて、特徴相関層を著しく上回ります。 コードとトレーニングされたモデルはgithub.com/PruneTruong/GOCorで利用可能になる。

関連論文リスト

• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [49.49773108695526]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Adaptive Assignment for Geometry Aware Local Feature Matching [22.818457285745733]
  検出不要な特徴マッチングアプローチは、その優れたパフォーマンスのおかげで、現在大きな注目を集めている。 本稿では,AdaMatcherについて紹介する。AdaMatcherは特徴相関と協調可視領域推定を,精巧な特徴相互作用モジュールを通じて実現する。 次に、AdaMatcherは、画像間のスケールを推定しながらパッチレベルのマッチングに適応的な割り当てを行い、最後に、スケールアライメントとサブピクセルレグレッションモジュールを通じて、コビジブルマッチングを洗練する。
  論文  参考訳（メタデータ） (2022-07-18T08:22:18Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Multi-layer Feature Aggregation for Deep Scene Parsing Models [19.198074549944568]
  本稿では,深層解析ネットワークにおける多層特徴出力の空間-意味的整合性に対する有効利用について検討する。 提案モジュールは、空間情報と意味情報を相関付けるために、中間視覚特徴を自動選択することができる。 4つの公開シーン解析データセットの実験により、提案した機能集約モジュールを備えたディープパーシングネットワークは、非常に有望な結果が得られることが証明された。
  論文  参考訳（メタデータ） (2020-11-04T23:07:07Z)
• Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network [13.628218953897946]
  本稿では,JDNetとよばれる有効アルゴリズムを提案する。 自己校正畳み込みを用いたスケール・アグリゲーション・セルフアグリゲーション・モジュールを巧みに設計することにより,提案モデルはより優れたデコレーション結果が得られる。
  論文  参考訳（メタデータ） (2020-08-06T17:04:34Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。