論文の概要: Zero-Shot Image Feature Consensus with Deep Functional Maps

• arxiv url: http://arxiv.org/abs/2403.12038v1
• Date: Mon, 18 Mar 2024 17:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:51:33.930425
• Title: Zero-Shot Image Feature Consensus with Deep Functional Maps
• Title（参考訳）: 深部機能地図を用いたゼロショット画像特徴センサス
• Authors: Xinle Cheng, Congyue Deng, Adam Harley, Yixin Zhu, Leonidas Guibas,
• Abstract要約: より優れた対応戦略が利用可能であることを示し,対応フィールドに直接構造を課す関数写像について述べる。 提案手法は,学習対象の大規模視覚モデルに埋め込まれた知識をよりよく反映し,よりスムーズなだけでなく,より正確に対応できることを示す。
• 参考スコア（独自算出の注目度）: 20.988872402347756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Correspondences emerge from large-scale vision models trained for generative and discriminative tasks. This has been revealed and benchmarked by computing correspondence maps between pairs of images, using nearest neighbors on the feature grids. Existing work has attempted to improve the quality of these correspondence maps by carefully mixing features from different sources, such as by combining the features of different layers or networks. We point out that a better correspondence strategy is available, which directly imposes structure on the correspondence field: the functional map. Wielding this simple mathematical tool, we lift the correspondence problem from the pixel space to the function space and directly optimize for mappings that are globally coherent. We demonstrate that our technique yields correspondences that are not only smoother but also more accurate, with the possibility of better reflecting the knowledge embedded in the large-scale vision models that we are studying. Our approach sets a new state-of-the-art on various dense correspondence tasks. We also demonstrate our effectiveness in keypoint correspondence and affordance map transfer.
• Abstract（参考訳）: 対応は、生成的および識別的なタスクのために訓練された大規模な視覚モデルから生じる。 これは、特徴格子上の最も近い隣人を用いて、一対のイメージ間の対応マップの計算によって明らかにされ、ベンチマークされている。 既存の作業は、異なるレイヤやネットワークの特徴を組み合わせるなど、異なるソースからの機能を慎重に混合することで、これらの対応マップの品質向上を図っている。 より優れた対応戦略が可能であることを指摘し、対応フィールドに直接構造を課す関数写像について述べる。 この単純な数学的ツールを用いて、画素空間から関数空間への対応問題を解き、グローバルに一貫性のある写像を直接最適化する。 本手法は,学習対象の大規模視覚モデルに埋め込まれた知識をよりよく反映し,よりスムーズなだけでなく,より正確に対応できることを示す。 我々の手法は、様々な密接な対応タスクに新たな最先端を設定できる。 また,キーポイント対応やアベイランスマップの転送にも有効であることを示す。

関連論文リスト

• Latent Functional Maps: a spectral framework for representation alignment [34.20582953800544]
  表現学習コミュニティに多目的フレームワークを導入し、(i)異なる空間を解釈可能な方法で比較し、その内在的類似性を測定すること、(ii)教師なしと弱教師付きの両方で対応性を見出すこと、(iii)異なる空間間の表現を効果的に伝達すること。 我々は, 縫合作業から検索作業, および複数のモダリティに至るまで, 様々なアプリケーションにおいて, フレームワークを検証し, 表現アライメントのためのスウィスアームナイフとして機能することを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:43:28Z)
• Revisiting Map Relations for Unsupervised Non-Rigid Shape Matching [18.957179015912402]
  非剛性3次元形状マッチングのための教師なし学習手法を提案する。 提案手法は,従来の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-17T17:28:03Z)
• Neural Semantic Surface Maps [52.61017226479506]
  本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
  論文  参考訳（メタデータ） (2023-09-09T16:21:56Z)
• Bending Graphs: Hierarchical Shape Matching using Gated Optimal Transport [80.64516377977183]
  形状マッチングは、コンピュータグラフィックスと視覚のコミュニティにとって長い間研究されてきた問題である。 局所的なパッチレベル情報とグローバルな形状レベルの構造を組み込んだ階層型学習設計について検討する。 本研究では,非信頼ノード上の特徴を逐次更新し,形状間の一貫した一致を学習することで,新しい最適輸送解法を提案する。
  論文  参考訳（メタデータ） (2022-02-03T11:41:46Z)
• DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points [15.953570826460869]
  2つの画像間の密接な対応を確立することは、基本的なコンピュータビジョンの問題である。 我々は、アンカーポイントに条件付きグラフ構造化ニューラルネットワークを用いたDense対応学習のための新しいソリューションであるDenseGAPを紹介する。 提案手法は,ほとんどのベンチマークにおいて対応学習の最先端化を図っている。
  論文  参考訳（メタデータ） (2021-12-13T18:59:30Z)
• Multiway Non-rigid Point Cloud Registration via Learned Functional Map Synchronization [105.14877281665011]
  我々は、点雲上に定義された学習関数に関する地図を同期させることにより、複数の非剛体形状を登録する新しい方法であるSyNoRiMを提案する。 提案手法は,登録精度において最先端の性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2021-11-25T02:37:59Z)
• Bi-level Feature Alignment for Versatile Image Translation and Manipulation [88.5915443957795]
  GAN(Generative Adversarial Network)は画像翻訳と操作において大きな成功を収めている。 忠実なスタイル制御を備えた高忠実な画像生成は、コンピュータビジョンにおいて依然として大きな課題である。 本稿では,高精度なセマンティック・スタイル・ガイダンスを実現する多機能な画像翻訳・操作フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T05:26:29Z)
• GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network [176.3781969089004]
  特徴相関層は、画像ペア間の密接な対応を含むコンピュータビジョン問題において、重要なニューラルネットワークモジュールとして機能する。 我々は,特徴相関層の直接置換として機能する,完全に微分可能な密マッチングモジュール GOCor を提案する。 本手法は,幾何マッチング,光学フロー,密接なセマンティックマッチングのタスクにおいて,特徴相関層を著しく上回っている。
  論文  参考訳（メタデータ） (2020-09-16T17:33:01Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。