論文の概要: Preserving Marker Specificity with Lightweight Channel-Independent Representation Learning
- arxiv url: http://arxiv.org/abs/2512.15410v1
- Date: Wed, 17 Dec 2025 12:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:26.992235
- Title: Preserving Marker Specificity with Lightweight Channel-Independent Representation Learning
- Title(参考訳): 軽量チャネル非依存表現学習によるマーカ特異性の保存
- Authors: Simon Gutwein, Arthur Longuefosse, Jun Seita, Sabine Taschner-Mandl, Roxane Licandro,
- Abstract要約: 本研究では,マーカーの独立性と意図的な浅層構造が組み合わさって,自己指導型表現学習においてより適切な帰納的バイアスを与えるかどうかを考察する。
145,000の細胞と49のマーカーを持つHodgkinリンパ腫CODEXデータセットを用いて、標準的な早期輸血CNNとチャネル分離アーキテクチャを比較した。
チャネルに依存しないアーキテクチャ、特にCIM-Sは、そのコンパクトさにもかかわらず、かなり強力な表現を実現している。
- 参考スコア(独自算出の注目度): 0.9385564736089997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiplexed tissue imaging measures dozens of protein markers per cell, yet most deep learning models still apply early channel fusion, assuming shared structure across markers. We investigate whether preserving marker independence, combined with deliberately shallow architectures, provides a more suitable inductive bias for self-supervised representation learning in multiplex data than increasing model scale. Using a Hodgkin lymphoma CODEX dataset with 145,000 cells and 49 markers, we compare standard early-fusion CNNs with channel-separated architectures, including a marker-aware baseline and our novel shallow Channel-Independent Model (CIM-S) with 5.5K parameters. After contrastive pretraining and linear evaluation, early-fusion models show limited ability to retain marker-specific information and struggle particularly with rare-cell discrimination. Channel-independent architectures, and CIM-S in particular, achieve substantially stronger representations despite their compact size. These findings are consistent across multiple self-supervised frameworks, remain stable across augmentation settings, and are reproducible across both the 49-marker and reduced 18-marker settings. These results show that lightweight, channel-independent architectures can match or surpass deep early-fusion CNNs and foundation models for multiplex representation learning. Code is available at https://github.com/SimonBon/CIM-S.
- Abstract(参考訳): 多重組織イメージングは細胞ごとに数十のタンパク質マーカーを測定するが、ほとんどのディープラーニングモデルはまだ早期チャネル融合を適用しており、マーカー間の共有構造を仮定している。
本研究は,マーカー独立の保存と,意図的な浅層アーキテクチャの併用が,モデルスケールの増大よりも,多重データにおける自己教師付き表現学習に適する帰納的バイアスを与えるかどうかを考察する。
145,000の細胞と49のマーカーを持つHodgkinリンパ腫CODEXデータセットを用いて、標準的なアーリーフュージョンCNNとチャネル分離アーキテクチャを比較し、マーカー認識ベースラインと新しい浅いチャネル独立モデル(CIM-S)を5.5Kパラメータで比較した。
対照的な事前学習と線形評価の後、早期融合モデルではマーカー固有の情報を保持する能力が限られており、特にまれな細胞分化に苦慮している。
チャネルに依存しないアーキテクチャ、特にCIM-Sは、そのコンパクトさにもかかわらず、かなり強力な表現を実現している。
これらの発見は、複数の自己管理フレームワークで一貫性があり、拡張設定で安定しており、49マーカーと18マーカーの両方で再現可能である。
これらの結果は、軽量でチャネルに依存しないアーキテクチャが、多重表現学習のための深層早期融合CNNや基礎モデルと一致するか、あるいは超える可能性があることを示している。
コードはhttps://github.com/SimonBon/CIM-S.comで入手できる。
関連論文リスト
- Confidence-Weighted Semi-Supervised Learning for Skin Lesion Segmentation Using Hybrid CNN-Transformer Networks [0.20305676256390928]
MIRA-Uは,不確実性を認識した教師/学生の擬似ラベルとハイブリッドCNN-Transformerアーキテクチャを組み合わせた半教師付きフレームワークである。
提案手法では,U字型CNN-Transformer学生ネットワークを案内する信頼度重み付き擬似ラベルを生成するために,マスク付き画像モデリングを用いて事前学習した教師ネットワークを用いる。
この設計により、擬似ラベルの品質と境界線が向上し、再構成ベースとCNNのみのベースラインを超えた。
論文 参考訳(メタデータ) (2025-10-17T06:35:16Z) - SingLEM: Single-Channel Large EEG Model [3.8754070607387416]
単一チャネル脳波から堅牢で汎用的な表現を学習する自己教師型基礎モデルであるSingLEMを紹介する。
SingLEMは、9,200人以上の被験者と357,000人の単一チャネル時間からなる71のパブリックデータセットで事前訓練されている。
その結果、単一チャネルアプローチは、微細な神経生理学的解析と解釈可能性の向上を可能とし、最先端の一般化を実現することができることを示した。
論文 参考訳(メタデータ) (2025-09-22T15:46:58Z) - GNN-based Unified Deep Learning [5.563171090433323]
グラフ表現に各モデルをエンコードし、共有グラフ学習空間における統一を可能にする新しいパラダイムである統一学習を提案する。
統一学習は、モデルが一意分布で訓練され、混合分布でテストされると性能が向上し、見当たらないデータ分散シフトに対して強い堅牢性を示すことを示す。
論文 参考訳(メタデータ) (2025-08-14T12:22:32Z) - Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。
提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。
提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
論文 参考訳(メタデータ) (2024-10-16T08:02:49Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳(メタデータ) (2024-05-27T05:45:51Z) - LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。
このモデルは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。
Data Science Bowls、GlaS、ISIC2018、PH2、Sunnybrook、Lung X-rayといった公開データセットの実験は有望な結果を示している。
論文 参考訳(メタデータ) (2024-04-04T01:59:19Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。
私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
論文 参考訳(メタデータ) (2021-01-19T03:08:03Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳(メタデータ) (2020-06-29T17:59:26Z) - Evaluation Of Hidden Markov Models Using Deep CNN Features In Isolated
Sign Recognition [6.320141734801679]
ビデオストリームから切り離されたサイン認識は、サインのマルチモーダルな性質のため、難しい問題である。
この問題は、最近、深層畳み込みニューラルネットワーク(CNN)ベースの機能とLong Short-Term Memory(LSTM)ベースのディープシーケンスモデルを用いて研究されている。
本研究では,3つのモジュールから構成されるフレームワークを用いて,異なるシーケンスモデルを用いた手話認識問題の解法を提案する。
論文 参考訳(メタデータ) (2020-06-19T15:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。