論文の概要: MS-DINO: Efficient Distributed Training of Vision Transformer Foundation
Model in Medical Domain through Masked Sampling
- arxiv url: http://arxiv.org/abs/2301.02064v1
- Date: Thu, 5 Jan 2023 13:47:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 13:23:05.348618
- Title: MS-DINO: Efficient Distributed Training of Vision Transformer Foundation
Model in Medical Domain through Masked Sampling
- Title（参考訳）: MS-DINO:マスケサンプリングによる医用領域におけるビジョントランスフォーマー基礎モデルの効率的な分散学習
- Authors: Sangjoon Park, Ik-Jae Lee, Jun Won Kim, Jong Chul Ye
- Abstract要約: 本稿では,視覚変換器固有の暗号化手法を用いて,連続的なコミュニケーションを伴わずに実行可能であるが,プライバシーを向上できる自己教師付きマスク付きサンプリング手法を提案する。
提案手法を用いて構築された自己教師型モデルでは,モダリティの一般的な意味理解が可能であるため,様々な医療課題に対するタスクに依存しない基礎モデルとしての可能性を示し,医療領域における適用範囲を広げる。
- 参考スコア（独自算出の注目度）: 34.76985278888513
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In spite of the recent success of deep learning in the medical domain, the
problem of data scarcity in the medical domain gets aggravated due to privacy
and data ownership issues. Distributed learning approaches including federated
learning have been studied to alleviate the problems, but they suffer from
cumbersome communication overheads and weakness in privacy protection. To
address this, here we propose a self-supervised masked sampling distillation
method for vision transformer that can be performed without continuous
communication but still enhance privacy using a vision transformer-specific
encryption method. The effectiveness of our method is demonstrated with
extensive experiments on two medical domain data and two different downstream
tasks, showing superior performances than those obtained with the existing
distributed learning strategy as well as the fine-tuning only baseline. As the
self-supervised model built with the proposed method is capable of having a
general semantic understanding of the modality, we demonstrate its potential as
a task-agnostic foundation model for various medical tasks, widening the
applicability in the medical domain.
- Abstract（参考訳）: 近年,医学領域における深層学習の成功にもかかわらず,プライバシやデータ所有の問題により,医療領域におけるデータ不足の問題が増している。
連合学習を含む分散学習アプローチは問題を緩和するために研究されてきたが、それらは通信オーバーヘッドやプライバシー保護の弱点に悩まされている。
そこで本研究では,視覚変換器固有の暗号化方式を用いて,連続的な通信を必要とせず,プライバシーを向上できる自己監督型マスクサンプリング蒸留方式を提案する。
提案手法の有効性は,2つの医療領域データと2つの異なる下流タスクに対する広範囲な実験により実証され,既存の分散学習戦略よりも優れた性能を示した。
提案手法で構築した自己教師付きモデルは,モダリティの汎用的な意味理解を実現することができるため,医療領域における応用可能性を広げ,様々な医療タスクのタスク非依存基礎モデルとしての可能性を示す。
関連論文リスト
- Unsupervised Meta-Learning via In-Context Learning [3.4165401459803335]
本稿では,教師なしメタ学習における教師なしメタ学習の一般化能力を活用した新しい手法を提案する。
提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
論文 参考訳（メタデータ） (2024-05-25T08:29:46Z) - Stochastic Vision Transformers with Wasserstein Distance-Aware Attention [8.407731308079025]
自己教師付き学習は、限られたラベル付きデータから知識を得るための最も有望なアプローチの1つである。
我々は、不確実性と距離認識を自己教師付き学習パイプラインに統合する新しいビジョントランスフォーマーを導入する。
提案手法は,多種多様なデータセットを対象とした多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
論文 参考訳（メタデータ） (2023-11-30T15:53:37Z) - From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-16T15:47:49Z) - Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。
マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
論文 参考訳（メタデータ） (2023-09-22T09:58:38Z) - Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised
Domain Adaptation [70.85686267987744]
教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。
本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。
提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
論文 参考訳（メタデータ） (2023-03-04T03:02:12Z) - Evaluating the Label Efficiency of Contrastive Self-Supervised Learning
for Multi-Resolution Satellite Imagery [0.0]
遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。
本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
論文 参考訳（メタデータ） (2022-10-13T06:54:13Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:56Z) - Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。
本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。
また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
論文 参考訳（メタデータ） (2022-01-04T04:01:05Z) - Self-Supervised Representation Learning: Introduction, Advances and
Challenges [125.38214493654534]
自己教師付き表現学習手法は、大きな注釈付きデータセットを必要とせずに強力な機能学習を提供することを目的としている。
本稿では、この活気ある領域について、鍵となる概念、アプローチの4つの主要なファミリーと関連する技術の状態、そして、データの多様性に自己監督手法を適用する方法について紹介する。
論文 参考訳（メタデータ） (2021-10-18T13:51:22Z) - Domain-Robust Visual Imitation Learning with Mutual Information
Constraints [0.0]
Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。
本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
論文 参考訳（メタデータ） (2021-03-08T21:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。