論文の概要: ImCorr: Sub-pixel Semantic Correspondence via Implicit Feature Decoding
- arxiv url: http://arxiv.org/abs/2609.29193v1
- Date: Thu, 24 Sep 2026 08:04:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.786652
- Title: ImCorr: Sub-pixel Semantic Correspondence via Implicit Feature Decoding
- Title(参考訳): ImCorr: Inlicit機能デコードによるサブピクセルセマンティック対応
- Abstract要約: その結果, セマンティック・コンパレンス法は, きめ細かいしきい値で表されることがわかった。
ImCorr は任意の連続座標でクエリ可能な連続特徴体上での対応推定を定式化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The strong performance that modern semantic correspondence methods achieve at standard thresholds plateaus sharply at fine-grained thresholds. We argue that this plateau stems not from the representational capacity of backbone features, but from a grid-tied readout. Patch-based vision transformers tokenize images onto discrete grids, introducing two forms of quantization error: querying nearest patch features instead of exact keypoints on the source side, and the absence of grid features representing precise ground-truth locations on the target side. We quantify this quantization ceiling across all 499,188 keypoints in SPair-71k: under the standard 448x448, patch-14 setting, 84.9% of ground-truth keypoints have no grid feature representing their precise location at PCK@0.01. This is a structural limitation at the representation level, independent of the matching strategy. We address this with ImCorr: Sub-pixel Semantic Correspondence via Implicit Feature Decoding, which formulates correspondence estimation over a continuous feature field queryable at arbitrary continuous coordinates. A FiLM-conditioned decoder is trained to embed sub-pixel positional information into the feature field. Querying the field directly at exact keypoint coordinates theoretically eliminates representation-level quantization error on the source side, while decoding onto a grid denser than the backbone grid substantially reduces quantization error on the target side. On SPair-71k and AP-10K (intra-species, cross-species, and cross-family), ImCorr improves performance at fine-grained thresholds (PCK@0.01-0.05), achieving a 6.2 percentage point gain over the prior state of the art at PCK@0.01 on SPair-71k. These results demonstrate that representational continuity is an effective solution for precise semantic correspondence. Code is available at https://github.com/YusungChoi/ImCorr.
- Abstract(参考訳): 現代意味対応法が標準しきい値で達成する強い性能は、きめ細かいしきい値で急激に高められる。
この高原はバックボーンの特徴の表現能力ではなく,グリッドタイドの読み出しによるものである,と我々は主張する。
パッチベースのビジョントランスフォーマーは、イメージを離散グリッドにトークン化し、2種類の量子化エラーを導入する。
SPair-71kの499,188個のキーポイントに対して、この量子化天井を定量化する:標準448x448、パッチ14設定、84.9%のグランドトラスキーポイントは、PCK@0.01の正確な位置を表す格子的特徴を持たない。
これは表現レベルでの構造的制限であり、マッチング戦略とは独立である。
任意の連続座標でクエリ可能な連続特徴体上での対応推定を定式化するImCorr: Inlicit Feature Decodingによるサブピクセルセマンティック対応に対処する。
FiLM条件のデコーダは、サブピクセルの位置情報を特徴フィールドに埋め込むように訓練される。
正確なキーポイント座標でフィールドを直接クエリすることで、理論的にはソース側の表現レベル量子化誤差を排除し、バックボーングリッドよりも密度の高いグリッドにデコードすることで、ターゲット側の量子化誤差を大幅に低減する。
SPair-71k と AP-10K では、ImCorr は細粒度のしきい値 (PCK@0.01-0.05) で性能を改善し、SPair-71k のPCK@0.01 における先行技術よりも6.2ポイント向上した。
これらの結果は、表現連続性が正確な意味対応に有効な解であることを示している。
コードはhttps://github.com/YusungChoi/ImCorr.comで入手できる。
関連論文リスト
- Generative Semantic Segmentation via an Observable Semantic-Image Interface and Hierarchical Generator Evidence Alignment [1.6199400106794555]
生成的セマンティックセグメンテーションは、構造化された予測を画像として公開するが、直接カラーデコーディングは、色ドリフトと境界ミキシングの影響を受けやすい。
本稿では,セマンティック・プリズム(Semantic Prism)を提案する。
論文 参考訳(メタデータ) (2026-08-12T01:00:04Z) - SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference [0.0]
パラメータフリーで入力適応型トークンサーであるSpralFoveaを提案する。
コンテンツ駆動型ホットスポットアンカーの周辺では、マルチスケールのスパイラルリングが78個のパッチを生成し、入力段階で標準の196パッチのViTグリッドを置き換える。
標準的な4つのベンチマークで、SpiralFoveaは1.7-2.1ppの精度で入力トークンの60%の削減、トランスフォーマー層毎の自己アテンションFLOPの84%の削減、マッチした静的トークン化ベースラインの18-29%のスループット向上を実現している。
論文 参考訳(メタデータ) (2026-07-01T11:09:07Z) - SimpleMatch: A Simple and Strong Baseline for Semantic Correspondence [1.0039285760896914]
我々は,低解像度でも高い性能を実現する意味対応フレームワークであるSimpleMatchを紹介する。
現在のSOTA法よりも252x252 (3.3倍小さい)の解像度で、SimpleMatchはSPair-71kベンチマークで84.1%のPCK@0.1で優れた性能を達成した。
論文 参考訳(メタデータ) (2026-01-18T11:31:46Z) - Revisiting Efficient Semantic Segmentation: Learning Offsets for Better Spatial and Class Feature Alignment [67.94226713255732]
本稿では,クラス表現と空間像の特徴の両方を動的に洗練するために,特徴とクラスオフセットを学習するデュアルブランチオフセット学習パラダイムを提案する。
提案手法に基づいて,効率的なセマンティックセグメンテーションネットワークOffSegを構築した。
ADE20K、Cityscapes、COCO-Stuff-164K、Pascal Contextを含む4つのデータセットの実験は、無視可能なパラメータによる一貫した改善を示している。
論文 参考訳(メタデータ) (2025-08-12T10:10:10Z) - SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。
言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
論文 参考訳(メタデータ) (2025-06-16T09:16:40Z) - Transformer based Pluralistic Image Completion with Reduced Information Loss [72.92754600354199]
トランスフォーマーをベースとした手法は,近年,イメージインペイントにおいて大きな成功を収めている。
彼らは各ピクセルをトークンとみなし、情報損失の問題に悩まされる。
我々はPUTと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-31T01:20:16Z) - Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence [80.6840060272386]
本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。
この情報を活用することで,意味的対応性能が著しく向上することを示す。
提案手法は,SPair-71kデータセット上で,65.4(ゼロショット)と85.6(教師)のPCK@0.10スコアを達成する。
論文 参考訳(メタデータ) (2023-11-28T18:45:13Z) - Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud
Registration [4.954184310509112]
Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としている。
個々の点と画素とのマッチングは、モダリティギャップによって本質的に曖昧である。
本稿では,局所点集合と画素パッチ間の量認識対応を捉える枠組みを提案する。
論文 参考訳(メタデータ) (2023-07-14T03:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。