論文の概要: Self-Supervised Learning in Electron Microscopy: Towards a Foundation
Model for Advanced Image Analysis
- arxiv url: http://arxiv.org/abs/2402.18286v1
- Date: Wed, 28 Feb 2024 12:25:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:06:43.421612
- Title: Self-Supervised Learning in Electron Microscopy: Towards a Foundation
Model for Advanced Image Analysis
- Title(参考訳): 電子顕微鏡における自己監督学習 : 高度な画像解析の基礎モデルを目指して
- Authors: Bashir Kazimi and Karina Ruzaeva and Stefan Sandfeld
- Abstract要約: 本稿では,自己教師付き事前学習が,下流タスクの高精度な微調整をいかに促進するかを示す。
我々は、電子顕微鏡の文脈において、下流の様々なタスクにまたがる自己教師型事前学習の汎用性を実証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we explore the potential of self-supervised learning from
unlabeled electron microscopy datasets, taking a step toward building a
foundation model in this field. We show how self-supervised pretraining
facilitates efficient fine-tuning for a spectrum of downstream tasks, including
semantic segmentation, denoising, noise & background removal, and
super-resolution. Experimentation with varying model complexities and receptive
field sizes reveals the remarkable phenomenon that fine-tuned models of lower
complexity consistently outperform more complex models with random weight
initialization. We demonstrate the versatility of self-supervised pretraining
across various downstream tasks in the context of electron microscopy, allowing
faster convergence and better performance. We conclude that self-supervised
pretraining serves as a powerful catalyst, being especially advantageous when
limited annotated data are available and efficient scaling of computational
cost are important.
- Abstract(参考訳): 本研究では,未ラベル電子顕微鏡データからの自己教師型学習の可能性を探究し,基礎モデルの構築に向けて一歩踏み出した。
セマンティックセグメンテーション,デノナイジング,ノイズと背景の除去,超解像など,下流タスクのスペクトルを効果的に微調整する方法について述べる。
様々なモデル複雑さと受容場の大きさの実験は、より低い複雑さの微調整されたモデルが、ランダムな重量初期化を伴うより複雑なモデルより一貫して優れているという驚くべき現象を示す。
我々は, 電子顕微鏡のコンテキストにおいて, 様々な下流課題における自己教師付き事前訓練の汎用性を示し, より高速に収束し, より良い性能を実現する。
我々は, 自己教師付き事前学習が強力な触媒となり, 特に制限された注釈付きデータが利用可能であり, 計算コストの効率的なスケーリングが重要であると結論づける。
関連論文リスト
- Masked Particle Modeling on Sets: Towards Self-Supervised High Energy
Physics Foundation Models [4.515623503184142]
Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。
本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
論文 参考訳(メタデータ) (2024-01-24T15:46:32Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - EEGFormer: Towards Transferable and Interpretable Large-Scale EEG
Foundation Model [39.363511340878624]
大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。
本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
論文 参考訳(メタデータ) (2024-01-11T17:36:24Z) - Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction [0.6291443816903801]
基礎モデルに新たなトレーニング戦略を導入する。
提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。
さらに, 基礎モデルの一般化性の向上を実証した。
論文 参考訳(メタデータ) (2023-12-21T07:42:49Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。
近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
論文 参考訳(メタデータ) (2022-05-31T22:28:34Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。