論文の概要: DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
- arxiv url: http://arxiv.org/abs/2405.16796v1
- Date: Mon, 27 May 2024 03:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 19:06:16.264960
- Title: DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
- Title（参考訳）: DualContrast: 暗黙のパラメータ化を伴うコンテンツと変換の教師なし分離
- Authors: Mostofa Rafid Uddin, Min Xu,
- Abstract要約: 形状に着目した画像データセットにおけるコンテンツと変換を教師なしで切り離すための,新しい自己教師型手法であるDualContrastを開発した。
本実験は,既存の自己監督的・明示的パラメータ化手法よりもDualContrastの方が優れていることを示す。
- 参考スコア（独自算出の注目度）: 7.624028449463715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised disentanglement of content and transformation has recently drawn much research, given their efficacy in solving downstream unsupervised tasks like clustering, alignment, and shape analysis. This problem is particularly important for analyzing shape-focused real-world scientific image datasets, given their significant relevance to downstream tasks. The existing works address the problem by explicitly parameterizing the transformation factors, significantly reducing their expressiveness. Moreover, they are not applicable in cases where transformations can not be readily parametrized. An alternative to such explicit approaches is self-supervised methods with data augmentation, which implicitly disentangles transformations and content. We demonstrate that the existing self-supervised methods with data augmentation result in the poor disentanglement of content and transformations in real-world scenarios. Therefore, we developed a novel self-supervised method, DualContrast, specifically for unsupervised disentanglement of content and transformations in shape-focused image datasets. Our extensive experiments showcase the superiority of DualContrast over existing self-supervised and explicit parameterization approaches. We leveraged DualContrast to disentangle protein identities and protein conformations in cellular 3D protein images. Moreover, we also disentangled transformations in MNIST, viewpoint in the Linemod Object dataset, and human movement deformation in the Starmen dataset as transformations using DualContrast.
- Abstract（参考訳）: クラスタリング、アライメント、形状解析といった下流の教師なしタスクの解決に効果があるため、コンテンツと変換の教師なしの歪みが最近多くの研究を引き寄せている。
この問題は、下流タスクに大きく関連していることから、形状に着目した実世界の科学画像データセットを分析する上で特に重要である。
既存の研究は、変換因子を明示的にパラメータ化することでこの問題に対処し、表現性を著しく低下させる。
さらに、変換が容易にパラメータ化できない場合には適用できない。
このような明示的なアプローチの代替として、データ拡張を伴う自己教師型の手法があり、変換や内容が暗黙的に歪められる。
実世界のシナリオにおいて,データ拡張による自己管理手法は,コンテンツや変換の混乱を招くことが実証された。
そこで我々はDualContrastという新たな自己教師型手法を開発した。
本研究は,既存の自己監督的・明示的パラメータ化手法よりもDualContrastの方が優れていることを示す。
我々はDualContrastを用いて、細胞3Dタンパク質画像中のタンパク質の同一性やタンパク質のコンホメーションを解析した。
さらに、MNISTにおける変換、Linemod Objectデータセットにおける視点、DualContrastを用いた変換としてのStarmenデータセットにおける人間の動きの変形についても検討した。
関連論文リスト
- Cross-domain and Cross-dimension Learning for Image-to-Graph
Transformers [50.576354045312115]
直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。
画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。
そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
論文 参考訳（メタデータ） (2024-03-11T10:48:56Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Weakly-supervised 3D Pose Transfer with Keypoints [57.66991032263699]
3Dポーズ転送の主な課題は、1) 異なる文字で同じポーズを行うペアトレーニングデータの欠如、2) ターゲットメッシュからポーズと形状情報を分離すること、3) 異なるトポロジを持つメッシュに適用することの難しさである。
本稿では,これらの課題を克服するためのキーポイントベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T12:40:24Z) - Leveraging Equivariant Features for Absolute Pose Regression [9.30597356471664]
変換と回転の同変である畳み込みニューラルネットワークは,カメラの動きの表現を直接特徴空間に誘導することを示す。
次に、この幾何学的性質により、画像平面保存変換の全グループの下でトレーニングデータを暗黙的に増大させることができることを示す。
論文 参考訳（メタデータ） (2022-04-05T12:44:20Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。
特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。
クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
論文 参考訳（メタデータ） (2021-11-26T03:57:46Z) - Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。
我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。
近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
論文 参考訳（メタデータ） (2021-05-31T16:20:03Z) - Data Transformation Insights in Self-supervision with Clustering Tasks [4.413331329339186]
自己教師付きクラスタリングの収束には,ある種の変換が有効であることを示す。
また、変換が役に立たない場合や、場合によっては有害な場合も示します。
論文 参考訳（メタデータ） (2020-02-18T05:49:27Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。