論文の概要: Single-round Self-supervised Distributed Learning using Vision Transformer

• arxiv url: http://arxiv.org/abs/2301.02064v3
• Date: Sat, 15 Apr 2023 06:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 21:20:52.529846
• Title: Single-round Self-supervised Distributed Learning using Vision Transformer
• Title（参考訳）: vision transformerを用いた単回自己教師付き分散学習
• Authors: Sangjoon Park, Ik-Jae Lee, Jun Won Kim, Jong Chul Ye
• Abstract要約: 視覚変換器の自己監督型マスクサンプリング蒸留法を提案する。 この方法は、連続的な通信なしに実装でき、ビジョントランスフォーマー固有の暗号化技術を利用することで、プライバシーを高めることができる。
• 参考スコア（独自算出の注目度）: 34.76985278888513
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the recent success of deep learning in the field of medicine, the issue of data scarcity is exacerbated by concerns about privacy and data ownership. Distributed learning approaches, including federated learning, have been investigated to address these issues. However, they are hindered by the need for cumbersome communication overheads and weaknesses in privacy protection. To tackle these challenges, we propose a self-supervised masked sampling distillation method for the vision transformer. This method can be implemented without continuous communication and can enhance privacy by utilizing a vision transformer-specific encryption technique. We conducted extensive experiments on two different tasks, which demonstrated the effectiveness of our method. We achieved superior performance compared to the existing distributed learning strategy as well as the fine-tuning only baseline. Furthermore, since the self-supervised model created using our proposed method can achieve a general semantic understanding of the image, we demonstrate its potential as a task-agnostic self-supervised foundation model for various downstream tasks, thereby expanding its applicability in the medical domain.
• Abstract（参考訳）: 医学分野でのディープラーニングの成功にもかかわらず、データの不足はプライバシとデータオーナシップに関する懸念によって悪化している。 これらの問題に対処するために、連合学習を含む分散学習アプローチが研究されている。 しかし、プライバシー保護における面倒な通信オーバーヘッドと弱点の必要性によって、それらは妨げられている。 そこで本研究では,視覚トランスフォーマーの自己教師ありマスキングサンプリング蒸留法を提案する。 この方法は連続的な通信なしに実装でき、視覚変換器固有の暗号化技術を利用することでプライバシーを向上させることができる。 提案手法の有効性を実証した2つのタスクについて広範な実験を行った。 既存の分散学習戦略や微調整のみのベースラインよりも優れたパフォーマンスを達成しました。 さらに,提案手法を用いて作成した自己教師型モデルにより画像の一般的な意味理解が達成できるため,様々な下流タスクに対するタスクに依存しない自己教師型基盤モデルとしての可能性を示す。

関連論文リスト

• Unsupervised Meta-Learning via In-Context Learning [3.4165401459803335]
  本稿では,教師なしメタ学習における教師なしメタ学習の一般化能力を活用した新しい手法を提案する。 提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
  論文  参考訳（メタデータ） (2024-05-25T08:29:46Z)
• Stochastic Vision Transformers with Wasserstein Distance-Aware Attention [8.407731308079025]
  自己教師付き学習は、限られたラベル付きデータから知識を得るための最も有望なアプローチの1つである。 我々は、不確実性と距離認識を自己教師付き学習パイプラインに統合する新しいビジョントランスフォーマーを導入する。 提案手法は,多種多様なデータセットを対象とした多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:53:37Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
  我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。 マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
  論文  参考訳（メタデータ） (2023-09-22T09:58:38Z)
• Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation [70.85686267987744]
  教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。 本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。 提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
  論文  参考訳（メタデータ） (2023-03-04T03:02:12Z)
• Evaluating the Label Efficiency of Contrastive Self-Supervised Learning for Multi-Resolution Satellite Imagery [0.0]
  遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。 本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
  論文  参考訳（メタデータ） (2022-10-13T06:54:13Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)
• Self-Supervised Representation Learning: Introduction, Advances and Challenges [125.38214493654534]
  自己教師付き表現学習手法は、大きな注釈付きデータセットを必要とせずに強力な機能学習を提供することを目的としている。 本稿では、この活気ある領域について、鍵となる概念、アプローチの4つの主要なファミリーと関連する技術の状態、そして、データの多様性に自己監督手法を適用する方法について紹介する。
  論文  参考訳（メタデータ） (2021-10-18T13:51:22Z)
• Domain-Robust Visual Imitation Learning with Mutual Information Constraints [0.0]
  Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。 本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2021-03-08T21:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。