論文の概要: Diversified Mutual Learning for Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2009.04170v1
• Date: Wed, 9 Sep 2020 09:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 11:38:45.398070
• Title: Diversified Mutual Learning for Deep Metric Learning
• Title（参考訳）: 深層学習のための多様な相互学習
• Authors: Wonpyo Park, Wonjae Kim, Kihyun You, Minsu Cho
• Abstract要約: 相互学習は、一般化を改善するためのアンサンブルトレーニング戦略である。 本研究では,多種多元多元学習(diversified Mutual Metric Learning)と呼ばれる,深層多元学習のための効果的な相互学習手法を提案する。 本手法は個々のモデルとアンサンブルを大幅に改善する。
• 参考スコア（独自算出の注目度）: 42.42997713655545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual learning is an ensemble training strategy to improve generalization by transferring individual knowledge to each other while simultaneously training multiple models. In this work, we propose an effective mutual learning method for deep metric learning, called Diversified Mutual Metric Learning, which enhances embedding models with diversified mutual learning. We transfer relational knowledge for deep metric learning by leveraging three kinds of diversities in mutual learning: (1) model diversity from different initializations of models, (2) temporal diversity from different frequencies of parameter update, and (3) view diversity from different augmentations of inputs. Our method is particularly adequate for inductive transfer learning at the lack of large-scale data, where the embedding model is initialized with a pretrained model and then fine-tuned on a target dataset. Extensive experiments show that our method significantly improves individual models as well as their ensemble. Finally, the proposed method with a conventional triplet loss achieves the state-of-the-art performance of Recall@1 on standard datasets: 69.9 on CUB-200-2011 and 89.1 on CARS-196.
• Abstract（参考訳）: 相互学習は、複数のモデルを同時に訓練しながら、個々の知識を相互に伝達することで一般化を改善するためのアンサンブルトレーニング戦略である。 本研究では,多角的相互学習による組込みモデルを強化した,多角的相互メトリック学習と呼ばれる,深層メトリック学習のための効果的な相互学習手法を提案する。 本研究では, 相互学習における3種類の多様性を活用して, 深層学習のための関係知識を伝達する: 1) モデルの初期化からモデルの多様性, (2) パラメータ更新の周波数からの時間的多様性, (3) 入力の増大からのビュー多様性。 本手法は大規模データがない場合の帰納的伝達学習に特に適しており, 埋め込みモデルを事前学習モデルで初期化し, ターゲットデータセットに微調整する。 広範な実験により,本手法は個々のモデルとアンサンブルを著しく改善することを示した。 最後に,従来の三重項損失を用いた提案手法は,標準データセット上でのRecall@1の最先端性能を実現している。

関連論文リスト

• Cross-Training with Multi-View Knowledge Fusion for Heterogenous Federated Learning [13.796783869133531]
  本稿では,多視点情報を活用したクロストレーニング手法により,フェデレーション学習を促進する新しい手法を提案する。 具体的には、FedCTと呼ばれる提案手法には、3つの主要なモジュールが含まれており、整合性を考慮した知識放送モジュールはモデルの割り当て戦略を最適化することを目的としている。 多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した知識を活用し、モデル交換前後の局所的な知識の保存を強化する。 ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。
  論文  参考訳（メタデータ） (2024-05-30T13:27:30Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging [0.9208007322096533]
  我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。 我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。 教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
  論文  参考訳（メタデータ） (2022-12-06T12:40:45Z)
• Integrating Contrastive Learning with Dynamic Models for Reinforcement Learning from Images [31.413588478694496]
  我々は、学習した埋め込みのマルコビアン性を明確に改善することが望ましいと論じている。 コントラスト学習と動的モデルを統合する自己教師付き表現学習法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T14:39:17Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning [65.06445195580622]
  フェデレートラーニング(Federated Learning)は、データ収集とモデルトレーニングを、マルチパーティの計算とモデルアグリゲーションを通じて分離する新しいパラダイムである。 我々は、他の学習アルゴリズムとともに、フェデレーション学習の焦点を絞った調査を行う。
  論文  参考訳（メタデータ） (2021-02-25T15:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。