論文の概要: Multi-network Contrastive Learning Based on Global and Local Representations

• arxiv url: http://arxiv.org/abs/2306.15930v1
• Date: Wed, 28 Jun 2023 05:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 15:47:40.255414
• Title: Multi-network Contrastive Learning Based on Global and Local Representations
• Title（参考訳）: グローバルおよびローカル表現に基づくマルチネットワークコントラスト学習
• Authors: Weiquan Li, Xianzhong Long, Yun Li
• Abstract要約: 本稿では,グローバルおよびローカル表現に基づくマルチネットワークコントラスト学習フレームワークを提案する。 複数のネットワークを通じて自己指導型コントラスト学習のためのグローバル・ローカル特徴情報を導入する。 また、コントラストに使用されるサンプルの数を増やし、モデルのトレーニング効率を向上させる。
• 参考スコア（独自算出の注目度）: 4.190134425277768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The popularity of self-supervised learning has made it possible to train models without relying on labeled data, which saves expensive annotation costs. However, most existing self-supervised contrastive learning methods often overlook the combination of global and local feature information. This paper proposes a multi-network contrastive learning framework based on global and local representations. We introduce global and local feature information for self-supervised contrastive learning through multiple networks. The model learns feature information at different scales of an image by contrasting the embedding pairs generated by multiple networks. The framework also expands the number of samples used for contrast and improves the training efficiency of the model. Linear evaluation results on three benchmark datasets show that our method outperforms several existing classical self-supervised learning methods.
• Abstract（参考訳）: 自己教師付き学習の人気により、ラベル付きデータに頼ることなくモデルをトレーニングすることが可能になった。 しかしながら、既存の自己教師付きコントラスト学習手法の多くは、グローバル特徴情報とローカル特徴情報の組み合わせを見落としていることが多い。 本稿では,グローバルおよびローカル表現に基づくマルチネットワークコントラスト学習フレームワークを提案する。 複数のネットワークを通じて自己指導型コントラスト学習のためのグローバル・ローカル特徴情報を導入する。 モデルは、複数のネットワークから生成される埋め込みペアを対比して、画像の異なるスケールで特徴情報を学習する。 このフレームワークはまた、コントラストに使用されるサンプル数を拡大し、モデルのトレーニング効率を向上させる。 3つのベンチマークデータセットの線形評価結果から,本手法は従来の自己教師付き学習法よりも優れていることが示された。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Federated Learning of Models Pre-Trained on Different Features with Consensus Graphs [19.130197923214123]
  プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。 本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。 本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
  論文  参考訳（メタデータ） (2023-06-02T02:24:27Z)
• Deep Learning Model with GA based Feature Selection and Context Integration [2.3472688456025756]
  本稿では,視覚的特徴と並行して,グローバル・ローカル・コンテクスト情報と独立に同化・学習する3層深層学習モデルを提案する。 提案モデルの新規性は,視覚層に遺伝的アルゴリズム(GA)を最適化した特徴を学習するために,1-vs-Allバイナリクラスベースの学習者が導入されたことである。 グローバルおよびローカルなコンテキスト情報を備えた最適化された視覚機能は、精度を改善し、最先端の深層CNNモデルに匹敵する安定した予測を生成するために重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-04-13T06:28:41Z)
• Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning [53.90317574898643]
  本稿では,自己教師付きポイントクラウド表現学習のためのシンプルで汎用的なフレームワークを提案する。 人類が世界を理解する方法に触発されて、我々は知識蒸留を利用して、グローバルな形状情報と、グローバルな形状と局所的な構造の関係の両方を学ぶ。 本手法は,線形分類および複数の下流タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-02-09T02:51:59Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。