論文の概要: Affinity-VAE: incorporating prior knowledge in representation learning from scientific images
- arxiv url: http://arxiv.org/abs/2209.04517v2
- Date: Fri, 14 Mar 2025 16:34:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 13:04:23.606637
- Title: Affinity-VAE: incorporating prior knowledge in representation learning from scientific images
- Title（参考訳）: Affinity-VAE:科学画像からの表現学習における事前知識の導入
- Authors: Marjan Famili, Jola Mirecka, Camila Rangel Smith, Anna Kotańska, Nikolai Juraschko, Beatriz Costa-Gomes, Colin M. Palmer, Jeyan Thiyagalingam, Tom Burnley, Mark Basham, Alan R. Lowe,
- Abstract要約: Affinity-VAEは、学習中に学習した表現にデータセットのインスタンスの類似性に関する科学的直感を課すことができる生成モデルである。
本稿では, 低温電子トモグラフィー(cryo-ET)の科学的領域におけるアプローチの有用性を実証する。
- 参考スコア（独自算出の注目度）: 1.0637656198787788
- License:
- Abstract: Learning compact and interpretable representations of data is a critical challenge in scientific image analysis. Here, we introduce Affinity-VAE, a generative model that enables us to impose our scientific intuition about the similarity of instances in the dataset on the learned representation during training. We demonstrate the utility of the approach in the scientific domain of cryo-electron tomography (cryo-ET) where a significant current challenge is to identify similar molecules within a noisy and low contrast tomographic image volume. This task is distinct from classification in that, at inference time, it is unknown whether an instance is part of the training set or not. We trained affinity-VAE using prior knowledge of protein structure to inform the latent space. Our model is able to create rotationally-invariant, morphologically homogeneous clusters in the latent representation, with improved cluster separation compared to other approaches. It achieves competitive performance on protein classification with the added benefit of disentangling object pose, structural similarity and an interpretable latent representation. In the context of cryo-ET data, affinity-VAE captures the orientation of identified proteins in 3D which can be used as a prior for subsequent scientific experiments. Extracting physical principles from a trained network is of significant importance in scientific imaging where a ground truth training set is not always feasible.
- Abstract（参考訳）: データのコンパクトで解釈可能な表現を学習することは、科学的な画像解析において重要な課題である。
ここでは、学習中の表現にデータセット内のインスタンスの類似性に関する科学的直感を課すことができる生成モデルであるAffinity-VAEを紹介する。
本稿では, 低温電子トモグラフィー(cryo-ET)の科学的領域におけるアプローチの有用性を実証する。
このタスクは、推論時に、インスタンスがトレーニングセットの一部であるかどうかが不明であるという点で、分類とは異なる。
我々は,タンパク質構造に関する事前知識を用いて親和性-VAEを訓練し,潜伏空間を知らせた。
我々のモデルは、他のアプローチと比較してクラスタ分離が改善され、回転不変で、形態的に均質なクラスタを潜在表現に生成することができる。
タンパク質分類における競合的な性能を達成し、引き離されたオブジェクトのポーズ、構造的類似性、解釈可能な潜在表現の利点を付加する。
低温ETデータの文脈では、アフィニティVAEは3Dで同定されたタンパク質の配向を捉える。
トレーニングされたネットワークから物理原理を抽出することは、基礎となる真理のトレーニングセットが必ずしも実現可能であるとは限らない科学的なイメージにおいて重要である。
関連論文リスト
- A Novel Convolution and Attention Mechanism-based Model for 6D Object Pose Estimation [49.1574468325115]
RGB画像から6Dオブジェクトのポーズを推定することは、深度情報の欠如が2次元投影から3次元構造を推定する必要があるため困難である。
従来の手法はグリッドベースのデータ構造によるディープラーニングに頼っていることが多いが、抽出された機能間の複雑な依存関係を捉えるのに苦労している。
本稿では,各画素の時間的特徴がノードとして機能し,それらの関係はノード接続や空間的相互作用を通じて定義される,画像から直接のグラフベース表現を提案する。
論文 参考訳（メタデータ） (2024-12-31T18:47:54Z) - A consensus-constrained parsimonious Gaussian mixture model for clustering hyperspectral images [0.0]
食品エンジニアは、ハイパースペクトル画像を使用して、食品サンプルのタイプと品質を分類する。
これらの手法を訓練するには、各トレーニング画像の各ピクセルにラベルを付ける必要がある。
ハイパースペクトル画像に画素をラベル付けするために, コンセンサス制約付き擬似ガウス混合モデル (ccPGMM) を提案する。
論文 参考訳（メタデータ） (2024-03-05T22:23:43Z) - Holographic-(V)AE: an end-to-end SO(3)-Equivariant (Variational)
Autoencoder in Fourier Space [0.0]
グループ同変ニューラルネットワークは、分類と回帰タスクを解決するためのデータ効率のよいアプローチとして登場した。
本稿では,Fourier空間におけるホログラフィックオートエンコーダについて述べる。
学習した潜在空間は、球面画像の分類的特徴を効率的に符号化する。
論文 参考訳（メタデータ） (2022-09-30T16:25:20Z) - Incorporating Texture Information into Dimensionality Reduction for
High-Dimensional Images [65.74185962364211]
距離ベース次元削減手法に周辺情報を組み込む手法を提案する。
画像パッチを比較する異なる手法の分類に基づいて,様々なアプローチを探索する。
論文 参考訳（メタデータ） (2022-02-18T13:17:43Z) - Multi-Facet Clustering Variational Autoencoders [9.150555507030083]
画像などの高次元データは通常、クラスタリング可能な複数の興味深い特徴を特徴付ける。
MFCVAE(Multi-Facet Clustering Variational Autoencoders)を導入する。
MFCVAEは複数のクラスタリングを同時に学習し、完全に教師なしでエンドツーエンドで訓練されている。
論文 参考訳（メタデータ） (2021-06-09T17:36:38Z) - Interpretable Image Clustering via Diffeomorphism-Aware K-Means [20.747301413801843]
一般の変形のクラスを含む画像とセントロイドの類似性の尺度:微分同相性(diffeomorphisms)を開発する。
提案手法は, 各種データセットの最先端手法と競合することを示す。
論文 参考訳（メタデータ） (2020-12-16T16:11:39Z) - Invariant Deep Compressible Covariance Pooling for Aerial Scene
Categorization [80.55951673479237]
本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。
本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
論文 参考訳（メタデータ） (2020-11-11T11:13:07Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z) - Object-Centric Multi-View Aggregation [86.94544275235454]
本稿では,オブジェクトのスパースなビュー集合を集約して,半単純3次元表現を容積特徴格子の形で計算する手法を提案する。
我々のアプローチの鍵となるのは、カメラのポーズを明示することなく、ビューを持ち上げることができるオブジェクト中心の標準3D座標システムである。
画素から標準座標系への対称対応マッピングの計算により、未知の領域への情報伝達がより良くなることを示す。
論文 参考訳（メタデータ） (2020-07-20T17:38:31Z) - ClusterVO: Clustering Moving Instances and Estimating Visual Odometry
for Self and Surroundings [54.33327082243022]
ClusterVOはステレオビジュアルオドメトリーで、エゴと周囲の固いクラスタ/オブジェクトの両方の動きを同時にクラスタし、推定する。
以前のソリューションでは、バッチ入力やシーン構造や動的オブジェクトモデルへの事前の指示に頼っていたが、ClusterVOは一般的にオンラインであり、屋内のシーン理解や自律運転など、さまざまなシナリオで使用することができる。
論文 参考訳（メタデータ） (2020-03-29T09:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。