論文の概要: PDiscoFormer: Relaxing Part Discovery Constraints with Vision Transformers
- arxiv url: http://arxiv.org/abs/2407.04538v2
- Date: Mon, 8 Jul 2024 14:44:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 22:46:24.883021
- Title: PDiscoFormer: Relaxing Part Discovery Constraints with Vision Transformers
- Title（参考訳）: PDiscoFormer: ビジョントランスフォーマーによるパートディスカバリ制約の緩和
- Authors: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos,
- Abstract要約: 自己教師型DINOv2 ViTのような事前学習型トランスフォーマーベース視覚モデルにより制約緩和が可能となることを示す。
特に、任意の大きさの複数の接続されたコンポーネントを利用できる全変動(TV)が、以前の作業よりも大幅に優れていたことが判明した。
- 参考スコア（独自算出の注目度）: 7.4774909520731425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer vision methods that explicitly detect object parts and reason on them are a step towards inherently interpretable models. Existing approaches that perform part discovery driven by a fine-grained classification task make very restrictive assumptions on the geometric properties of the discovered parts; they should be small and compact. Although this prior is useful in some cases, in this paper we show that pre-trained transformer-based vision models, such as self-supervised DINOv2 ViT, enable the relaxation of these constraints. In particular, we find that a total variation (TV) prior, which allows for multiple connected components of any size, substantially outperforms previous work. We test our approach on three fine-grained classification benchmarks: CUB, PartImageNet and Oxford Flowers, and compare our results to previously published methods as well as a re-implementation of the state-of-the-art method PDiscoNet with a transformer-based backbone. We consistently obtain substantial improvements across the board, both on part discovery metrics and the downstream classification task, showing that the strong inductive biases in self-supervised ViT models require to rethink the geometric priors that can be used for unsupervised part discovery.
- Abstract（参考訳）: 対象部品を明示的に検出するコンピュータビジョン手法は、本質的に解釈可能なモデルへのステップである。
きめ細かな分類タスクによって引き起こされる部分発見を行う既存のアプローチは、発見された部分の幾何学的性質に非常に限定的な仮定をし、それらは小さくてコンパクトであるべきである。
しかし,本稿では,自己監督型DINOv2 ViTのような事前学習型トランスフォーマーベースの視覚モデルにより,これらの制約を緩和できることを示す。
特に、任意の大きさの複数の接続されたコンポーネントを利用できる全変動(TV)が、以前の作業よりも大幅に優れていたことが判明した。
我々は、CUB、PartImageNet、Oxford Flowersの3つの詳細な分類ベンチマークでアプローチを検証し、その結果を以前に公表された手法と比較するとともに、最新の手法であるPDiscoNetをトランスフォーマーベースのバックボーンで再実装した。
自己教師型VTモデルにおける強い帰納バイアスは、教師なしの部品発見に使用できる幾何学的先行性を再考する必要があることを示す。
関連論文リスト
- Geometric Features Enhanced Human-Object Interaction Detection [11.513009304308724]
我々は、新しいエンドツーエンド変換方式HOI検出モデル、すなわち幾何学的特徴強化HOI検出器(GeoHOI)を提案する。
モデルの1つの重要な部分は、UniPointNetと呼ばれる新しい統合された自己教師付きキーポイント学習方法である。
GeoHOIはトランスフォーマーをベースとしたHOI検出器を効果的にアップグレードする。
論文 参考訳（メタデータ） (2024-06-26T18:52:53Z) - Split-and-Fit: Learning B-Reps via Structure-Aware Voronoi Partitioning [50.684254969269546]
本稿では,3次元CADモデルのバウンダリ表現(B-Reps)を取得する新しい手法を提案する。
各パーティション内に1つのプリミティブを導出するために空間分割を適用する。
我々のネットワークはニューラルなボロノイ図でNVD-Netと呼ばれ、訓練データからCADモデルのボロノイ分割を効果的に学習できることを示す。
論文 参考訳（メタデータ） (2024-06-07T21:07:49Z) - MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。
ViT法はトランスの表現性を生かし,優れた検出性能を実現する。
この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
論文 参考訳（メタデータ） (2024-04-12T13:02:08Z) - KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation [87.23575166061413]
KP-RED は KeyPoint 主導の Retrieval and deformation フレームワークである。
オブジェクトスキャンを入力として、最も幾何学的に類似したCADモデルを共同で検索し、変形させる。
論文 参考訳（メタデータ） (2024-03-15T08:44:56Z) - Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss [28.529476019629097]
Supervised-Contrastive Los (SCL) は、分類タスクのためのクロスエントロピー(CE)の代替品である。
コントラスト損失を補正することにより,学習した特徴埋め込みの幾何学を設計する手法を提案する。
論文 参考訳（メタデータ） (2023-10-02T04:23:17Z) - PDiscoNet: Semantically consistent part discovery for fine-grained
recognition [62.12602920807109]
画像レベルのクラスラベルのみを用いて,対象部品の発見を推奨する先行情報とともにPDiscoNetを提案する。
CUB,CelebA,PartImageNet で得られた結果から,提案手法は従来手法よりもかなり優れた部分発見性能が得られることがわかった。
論文 参考訳（メタデータ） (2023-09-06T17:19:29Z) - Efficient Two-Stage Detection of Human-Object Interactions with a Novel
Unary-Pairwise Transformer [41.44769642537572]
Unary-Pairwise Transformerは、HOIのユニタリおよびペアワイズ表現を利用する2段階の検出器である。
本手法はHICO-DETおよびV-COCOデータセット上で評価し,最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-12-03T10:52:06Z) - Unsupervised Image Decomposition with Phase-Correlation Networks [28.502280038100167]
位相相関分解ネットワーク(PCDNet)は、シーンをオブジェクトコンポーネントに分解する新しいモデルである。
実験では,PCDNetが非教師対象発見とセグメンテーションの最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-07T13:57:33Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳（メタデータ） (2021-09-15T01:10:30Z) - Monocular 3D Detection with Geometric Constraints Embedding and
Semi-supervised Training [3.8073142980733]
我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。
我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
論文 参考訳（メタデータ） (2020-09-02T00:51:51Z) - End-to-End Object Detection with Transformers [88.06357745922716]
本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。
我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。
この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
論文 参考訳（メタデータ） (2020-05-26T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。