論文の概要: ChAda-ViT : Channel Adaptive Attention for Joint Representation Learning of Heterogeneous Microscopy Images

• arxiv url: http://arxiv.org/abs/2311.15264v1
• Date: Sun, 26 Nov 2023 10:38:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:33:27.725971
• Title: ChAda-ViT : Channel Adaptive Attention for Joint Representation Learning of Heterogeneous Microscopy Images
• Title（参考訳）: ChAda-ViT : 不均一顕微鏡像の同時表現学習におけるチャネル適応的注意
• Authors: Nicolas Bourriez, Ihab Bendidi, Ethan Cohen, Gabriel Watkinson, Maxime Sanchez, Guillaume Bollot, Auguste Genovesio
• Abstract要約: 本稿では,Channel Adaptive Vision TransformerアーキテクチャであるChAda-ViTを提案する。 IDRCell100kは7つの顕微鏡モダリティを網羅した79の実験を多用したバイオイメージデータセットである。 提案したアーキテクチャは, 既存のアプローチを, 生物学的に関係のある下流タスクで上回り, 自己指導型で訓練した。
• 参考スコア（独自算出の注目度）: 3.1022528241229583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike color photography images, which are consistently encoded into RGB channels, biological images encompass various modalities, where the type of microscopy and the meaning of each channel varies with each experiment. Importantly, the number of channels can range from one to a dozen and their correlation is often comparatively much lower than RGB, as each of them brings specific information content. This aspect is largely overlooked by methods designed out of the bioimage field, and current solutions mostly focus on intra-channel spatial attention, often ignoring the relationship between channels, yet crucial in most biological applications. Importantly, the variable channel type and count prevent the projection of several experiments to a unified representation for large scale pre-training. In this study, we propose ChAda-ViT, a novel Channel Adaptive Vision Transformer architecture employing an Inter-Channel Attention mechanism on images with an arbitrary number, order and type of channels. We also introduce IDRCell100k, a bioimage dataset with a rich set of 79 experiments covering 7 microscope modalities, with a multitude of channel types, and channel counts varying from 1 to 10 per experiment. Our proposed architecture, trained in a self-supervised manner, outperforms existing approaches in several biologically relevant downstream tasks. Additionally, it can be used to bridge the gap for the first time between assays with different microscopes, channel numbers or types by embedding various image and experimental modalities into a unified biological image representation. The latter should facilitate interdisciplinary studies and pave the way for better adoption of deep learning in biological image-based analyses. Code and Data to be released soon.
• Abstract（参考訳）: rgbチャネルに一貫してエンコードされるカラー写真画像とは異なり、生物学的画像は様々なモダリティを包含しており、顕微鏡のタイプや各チャネルの意味は実験によって異なる。 重要なことは、チャンネルの数は1から1ダース程度で、その相関関係はRGBよりも比較的低く、それぞれが特定の情報コンテンツを提供する。 この側面は、バイオイメージ領域から設計された手法によって見落とされ、現在のソリューションは主にチャネル内の空間的注意に焦点を当てており、チャネル間の関係を無視していることが多いが、ほとんどの生物学的応用において不可欠である。 重要なことに、可変チャネルタイプとカウントは、大規模な事前トレーニングのための統一表現へのいくつかの実験の投影を妨げる。 本研究では,任意の数,順序,種類のチャネルを持つ画像に対して,チャネル間アテンション機構を用いた新しいチャネル適応型視覚トランスフォーマアーキテクチャであるChAda-ViTを提案する。 IDRCell100kは、7つの顕微鏡モードを多種多様なチャネルタイプでカバーし、1つの実験ごとに1から10までのチャネル数を変化させた79の実験セットである。 提案したアーキテクチャは, 既存のアプローチを, 生物学的に関係のある下流タスクで上回っている。 さらに、様々な画像や実験的なモダリティを統一された生物学的イメージ表現に埋め込むことで、異なる顕微鏡、チャネル番号、タイプで測定する間を初めて橋渡しすることができる。 後者は、学際的な研究の促進と、生物学的画像に基づく分析における深層学習のより良い採用の道を開くべきである。 コードとデータはまもなくリリースされる。

関連論文リスト

• Interpretable Embeddings for Segmentation-Free Single-Cell Analysis in Multiplex Imaging [1.8687965482996822]
  多重イメージング(MI)は、複数の生物学的マーカーを、細胞内解像度で別々のイメージングチャネルで同時に可視化することを可能にする。 本稿では,グループ化畳み込みを利用して各画像チャンネルから解釈可能な埋め込み特徴を学習するセグメンテーションフリーなディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-02T11:21:33Z)
• Enhancing Feature Diversity Boosts Channel-Adaptive Vision Transformers [18.731717752379232]
  マルチチャネルイメージング(MCI)モデルは、テスト時に様々なチャネル構成をサポートする必要がある。 最近の研究は、ヴィジュアルトランスフォーマー(ViT)のようなMCIの伝統的なビジュアルエンコーダを拡張し、チャネル構成を表すエンコードでピクセル情報を補う。 MCI-ViTモデルの学習特徴の多様性を高めることを目的としたDiChaViTを提案する。
  論文  参考訳（メタデータ） (2024-05-26T03:41:40Z)
• CHAMMI: A benchmark for channel-adaptive models in microscopy imaging [18.220276947512843]
  顕微鏡画像におけるチャネル適応モデルの検討のためのベンチマークを提案する。 チャネル適応モデルにより、領域外タスクをより一般化でき、計算効率が良くなる。
  論文  参考訳（メタデータ） (2023-10-30T02:03:28Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Learning Channel Importance for High Content Imaging with Interpretable Deep Input Channel Mixing [1.2963000794351183]
  本稿では,高画質画像のマルチスペクトル情報を用いて細胞生物学の一側面を解釈する手法を提案する。 我々は,高画質画像における解釈可能な予測を可能にする,軽量で拡張性があり,エンドツーエンドのトレーニング可能な混合層であるDCmixを紹介する。
  論文  参考訳（メタデータ） (2023-08-31T11:11:38Z)
• Unpaired Image-to-Image Translation with Limited Data to Reveal Subtle Phenotypes [0.5076419064097732]
  本稿では,多数の画像の必要性を軽減するために,自己教師付き識別器を用いた改良型CycleGANアーキテクチャを提案する。 また, 生物学的データセットを用いて, 明らかな細胞表現型および非予防的な細胞表現型変異について検討した。
  論文  参考訳（メタデータ） (2023-01-21T16:25:04Z)
• Stain-invariant self supervised learning for histopathology image analysis [74.98663573628743]
  乳がんのヘマトキシリンおよびエオシン染色像におけるいくつかの分類課題に対する自己監督アルゴリズムを提案する。 本手法は,いくつかの乳がんデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-11-14T18:16:36Z)
• Affinity Feature Strengthening for Accurate, Complete and Robust Vessel Segmentation [48.638327652506284]
  血管セグメンテーションは、冠動脈狭窄、網膜血管疾患、脳動脈瘤などの多くの医学的応用において重要である。 コントラストに敏感なマルチスケールアフィニティアプローチを用いて,幾何学的手法と画素単位のセグメンテーション特徴を連成的にモデル化する新しいアプローチであるAFNを提案する。
  論文  参考訳（メタデータ） (2022-11-12T05:39:17Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Interpreting Class Conditional GANs with Channel Awareness [57.01413866290279]
  クラス条件生成器が複数のクラスの合成をどのように統合するかを検討する。 このような現象を説明するために、単一チャネルが最終合成にどのように貢献するかを定量的に特徴づけるチャネル認識を提案する。 我々のアルゴリズムは条件付きGANでいくつかの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2022-03-21T17:53:22Z)
• Channel Interaction Networks for Fine-Grained Image Categorization [61.095320862647476]
  微妙なクラス間差のため、きめ細かい画像分類は困難である。 本稿では,チャネル・インタラクション・ネットワーク(CIN)を提案する。 我々のモデルは、多段階のトレーニングやテストを必要とせずに、エンドツーエンドで効率的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-03-11T11:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。