論文の概要: DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
- arxiv url: http://arxiv.org/abs/2405.16796v1
- Date: Mon, 27 May 2024 03:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 19:06:16.264960
- Title: DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
- Title（参考訳）: DualContrast: 暗黙のパラメータ化を伴うコンテンツと変換の教師なし分離
- Authors: Mostofa Rafid Uddin, Min Xu,
- Abstract要約: 形状に着目した画像データセットにおけるコンテンツと変換を教師なしで切り離すための,新しい自己教師型手法であるDualContrastを開発した。
本実験は,既存の自己監督的・明示的パラメータ化手法よりもDualContrastの方が優れていることを示す。
- 参考スコア（独自算出の注目度）: 7.624028449463715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised disentanglement of content and transformation has recently drawn much research, given their efficacy in solving downstream unsupervised tasks like clustering, alignment, and shape analysis. This problem is particularly important for analyzing shape-focused real-world scientific image datasets, given their significant relevance to downstream tasks. The existing works address the problem by explicitly parameterizing the transformation factors, significantly reducing their expressiveness. Moreover, they are not applicable in cases where transformations can not be readily parametrized. An alternative to such explicit approaches is self-supervised methods with data augmentation, which implicitly disentangles transformations and content. We demonstrate that the existing self-supervised methods with data augmentation result in the poor disentanglement of content and transformations in real-world scenarios. Therefore, we developed a novel self-supervised method, DualContrast, specifically for unsupervised disentanglement of content and transformations in shape-focused image datasets. Our extensive experiments showcase the superiority of DualContrast over existing self-supervised and explicit parameterization approaches. We leveraged DualContrast to disentangle protein identities and protein conformations in cellular 3D protein images. Moreover, we also disentangled transformations in MNIST, viewpoint in the Linemod Object dataset, and human movement deformation in the Starmen dataset as transformations using DualContrast.
- Abstract（参考訳）: クラスタリング、アライメント、形状解析といった下流の教師なしタスクの解決に効果があるため、コンテンツと変換の教師なしの歪みが最近多くの研究を引き寄せている。
この問題は、下流タスクに大きく関連していることから、形状に着目した実世界の科学画像データセットを分析する上で特に重要である。
既存の研究は、変換因子を明示的にパラメータ化することでこの問題に対処し、表現性を著しく低下させる。
さらに、変換が容易にパラメータ化できない場合には適用できない。
このような明示的なアプローチの代替として、データ拡張を伴う自己教師型の手法があり、変換や内容が暗黙的に歪められる。
実世界のシナリオにおいて,データ拡張による自己管理手法は,コンテンツや変換の混乱を招くことが実証された。
そこで我々はDualContrastという新たな自己教師型手法を開発した。
本研究は,既存の自己監督的・明示的パラメータ化手法よりもDualContrastの方が優れていることを示す。
我々はDualContrastを用いて、細胞3Dタンパク質画像中のタンパク質の同一性やタンパク質のコンホメーションを解析した。
さらに、MNISTにおける変換、Linemod Objectデータセットにおける視点、DualContrastを用いた変換としてのStarmenデータセットにおける人間の動きの変形についても検討した。
関連論文リスト
- Robust image representations with counterfactual contrastive learning [17.273155534515393]
因果画像合成の最近の進歩を生かした新しいフレームワークである反ファクト・コントラスト学習を導入する。
提案手法は,5つのデータセットで評価され,獲得シフトに対するロバスト性の観点から,標準的なコントラスト学習よりも優れていた。
さらなる実験により、提案フレームワークは買収シフトを超えて拡張され、反実的コントラスト学習で訓練されたモデルは、生物学的セックスにおけるサブグループパフォーマンスを大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-09-16T15:11:00Z) - Forgery-aware Adaptive Transformer for Generalizable Synthetic Image
Detection [106.39544368711427]
本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。
本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。
提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
論文 参考訳（メタデータ） (2023-12-27T17:36:32Z) - ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。
提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。
注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
論文 参考訳（メタデータ） (2022-11-09T16:16:06Z) - Degradation-agnostic Correspondence from Resolution-asymmetric Stereo [96.03964515969652]
テレワイドカメラシステムで取得した解像度の異なる2枚の画像からステレオマッチングの問題を考察する。
特徴量整合性という画像空間の代わりに特徴空間に2つのビュー間の整合性を課すことを提案する。
測光損失をトレーニングしたステレオマッチングネットワークは最適ではないが, 特徴抽出器は劣化に依存しない, マッチング特有の特徴を生成できる。
論文 参考訳（メタデータ） (2022-04-04T12:24:34Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Tensor Component Analysis for Interpreting the Latent Space of GANs [41.020230946351816]
本稿では,GANの潜在空間における解釈可能な方向を求める問題に対処する。
提案手法では,テンソルの個々のモードに対応する線形編集と,それらの間の乗法的相互作用をモデル化する非線形編集が可能である。
実験により, 前者は幾何に基づく変換から, 後者は拡張可能な変換を生成できることを示す。
論文 参考訳（メタデータ） (2021-11-23T09:14:39Z) - Data Augmentation via Structured Adversarial Perturbations [25.31035665982414]
そこで本研究では,所望の自然構造を維持する逆例を生成する手法を提案する。
我々はこの手法を、測光と幾何の2種類の画像変換を通して実証する。
論文 参考訳（メタデータ） (2020-11-05T18:07:55Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z) - Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。
我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。
CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
論文 参考訳（メタデータ） (2020-01-12T05:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。