論文の概要: SimSC: A Simple Framework for Semantic Correspondence with Temperature Learning

• arxiv url: http://arxiv.org/abs/2305.02385v1
• Date: Wed, 3 May 2023 18:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 18:05:37.327095
• Title: SimSC: A Simple Framework for Semantic Correspondence with Temperature Learning
• Title（参考訳）: SimSC: 温度学習とのセマンティック対応のための簡易フレームワーク
• Authors: Xinghui Li, Kai Han, Xingchen Wan, Victor Adrian Prisacariu
• Abstract要約: SimSCは、機能バックボーンのみに基づいてセマンティックマッチングの問題に対処するフレームワークである。 我々は学習モジュールを用いて、微調整機能バックボーンの最適温度を予測する。 より強力なバックボーンと組み合わせることで、我々のフレームワークの精度が容易に向上できることを示す。
• 参考スコア（独自算出の注目度）: 19.565005210498136
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose SimSC, a remarkably simple framework, to address the problem of semantic matching only based on the feature backbone. We discover that when fine-tuning ImageNet pre-trained backbone on the semantic matching task, L2 normalization of the feature map, a standard procedure in feature matching, produces an overly smooth matching distribution and significantly hinders the fine-tuning process. By setting an appropriate temperature to the softmax, this over-smoothness can be alleviated and the quality of features can be substantially improved. We employ a learning module to predict the optimal temperature for fine-tuning feature backbones. This module is trained together with the backbone and the temperature is updated online. We evaluate our method on three public datasets and demonstrate that we can achieve accuracy on par with state-of-the-art methods under the same backbone without using a learned matching head. Our method is versatile and works on various types of backbones. We show that the accuracy of our framework can be easily improved by coupling it with more powerful backbones.
• Abstract（参考訳）: 機能バックボーンのみに基づくセマンティックマッチングの問題に対処する,極めてシンプルなフレームワークであるSimSCを提案する。 セマンティックマッチングタスクにおけるImageNetの事前学習バックボーンを微調整すると、特徴マップのL2正規化、特徴マッチングにおける標準手順が、過度にスムーズなマッチング分布を生成し、微調整プロセスを著しく阻害することを発見した。 適切な温度をソフトマックスに設定することにより、この過度な滑らかさを緩和することができ、特徴の質を大幅に改善することができる。 我々は学習モジュールを用いて、微調整機能バックボーンの最適温度を予測する。 このモジュールはバックボーンと共にトレーニングされ、温度はオンラインで更新される。 提案手法を3つの公開データセットで評価し,学習したマッチングヘッドを使わずに,同一バックボーン下の最先端メソッドと同等の精度が得られることを示す。 我々の手法は多用途であり、様々な種類のバックボーンで機能する。 より強力なバックボーンと組み合わせることで、我々のフレームワークの精度が容易に向上できることを示す。

関連論文リスト

• Multi-Level Aggregation and Recursive Alignment Architecture for Efficient Parallel Inference Segmentation Network [18.47001817385548]
  セグメンテーションタスク用にカスタマイズされた並列推論ネットワークを提案する。 実時間速度を確保するために浅いバックボーンを使用し、モデル容量の削減と精度の向上のために3つのコアコンポーネントを提案する。 我々のフレームワークは、CityscapesとCamVidデータセットの最先端のリアルタイム手法よりも、速度と精度のバランスが良くなっている。
  論文  参考訳（メタデータ） (2024-02-03T22:51:17Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• RoMa: Robust Dense Feature Matching [17.015362716393216]
  特徴マッチングは、3Dシーンの2つの画像間の対応を推定する重要なコンピュータビジョンタスクである。 基礎モデルであるDINOv2の凍結事前学習機能を利用するモデルを提案する。 頑健性をさらに向上するために, 整列型トランスフォーマーマッチングデコーダを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:04Z)
• SimpleClick: Interactive Image Segmentation with Simple Vision Transformers [28.36705396062827]
  クリックベースのインタラクティブイメージセグメンテーションは、限られたユーザクリックでオブジェクトを抽出することを目的としている。 近年,高密度予測タスクのバックボーンとして,非階層型視覚変換器(ViT)が登場している。 アーキテクチャの単純さからSimpleClickと呼ばれる,対話型セグメンテーションのための最初のプレーンバックボーン手法を提案する。
  論文  参考訳（メタデータ） (2022-10-20T04:20:48Z)
• Multiway Non-rigid Point Cloud Registration via Learned Functional Map Synchronization [105.14877281665011]
  我々は、点雲上に定義された学習関数に関する地図を同期させることにより、複数の非剛体形状を登録する新しい方法であるSyNoRiMを提案する。 提案手法は,登録精度において最先端の性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2021-11-25T02:37:59Z)
• Bi-level Feature Alignment for Versatile Image Translation and Manipulation [88.5915443957795]
  GAN(Generative Adversarial Network)は画像翻訳と操作において大きな成功を収めている。 忠実なスタイル制御を備えた高忠実な画像生成は、コンピュータビジョンにおいて依然として大きな課題である。 本稿では,高精度なセマンティック・スタイル・ガイダンスを実現する多機能な画像翻訳・操作フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T05:26:29Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)
• Learning Semantically Enhanced Feature for Fine-Grained Image Classification [27.136912902584093]
  提案手法は,グローバルな特徴のサブ機能のセマンティクスを強化することで,きめ細かい特徴を学習する。 提案手法はパラメータ同型であり,エンドツーエンドトレーニング用のプラグイン・アンド・プレイモジュールとして,バックボーンモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2020-06-24T03:41:12Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。