論文の概要: Guided Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2206.02029v1
• Date: Sat, 4 Jun 2022 17:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-11 15:08:04.376363
• Title: Guided Deep Metric Learning
• Title（参考訳）: ガイド付きDeep Metric Learning
• Authors: Jorge Gonzalez-Zapata, Ivan Reyes-Amezcua, Daniel Flores-Araiza, Mauricio Mendez-Ruiz, Gilberto Ochoa-Ruiz and Andres Mendez-Vazquez
• Abstract要約: 我々は、ガイドドディープメトリックラーニングと呼ばれる新しいDML手法を提案する。 提案手法は、最大40%の改善まで、より優れた多様体の一般化と表現が可能である。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Metric Learning (DML) methods have been proven relevant for visual similarity learning. However, they sometimes lack generalization properties because they are trained often using an inappropriate sample selection strategy or due to the difficulty of the dataset caused by a distributional shift in the data. These represent a significant drawback when attempting to learn the underlying data manifold. Therefore, there is a pressing need to develop better ways of obtaining generalization and representation of the underlying manifold. In this paper, we propose a novel approach to DML that we call Guided Deep Metric Learning, a novel architecture oriented to learning more compact clusters, improving generalization under distributional shifts in DML. This novel architecture consists of two independent models: A multi-branch master model, inspired from a Few-Shot Learning (FSL) perspective, generates a reduced hypothesis space based on prior knowledge from labeled data, which guides or regularizes the decision boundary of a student model during training under an offline knowledge distillation scheme. Experiments have shown that the proposed method is capable of a better manifold generalization and representation to up to 40% improvement (Recall@1, CIFAR10), using guidelines suggested by Musgrave et al. to perform a more fair and realistic comparison, which is currently absent in the literature
• Abstract（参考訳）: ディープメトリック学習(dml)の手法は、視覚類似性学習に関係していることが証明されている。 しかし、それらはしばしば不適切なサンプル選択戦略を用いて訓練されたり、データの分散シフトに起因するデータセットの難しさのために一般化特性を欠くことがある。 これらは、基礎となるデータ多様体を学習しようとする際の大きな欠点である。 したがって、基礎多様体の一般化と表現を得るためのより良い方法を開発する必要がある。 本稿では,よりコンパクトなクラスタ学習を目的とした新しいアーキテクチャである Guided Deep Metric Learning をDMLに導入し,DMLの分散シフト下での一般化を向上する手法を提案する。 この斬新なアーキテクチャは、2つの独立したモデルから成り立っている: 多点マスターモデルは、数点学習(英語版)(fsl)の視点から着想を得て、オフラインの知識蒸留スキームの下でトレーニング中に学生モデルの決定境界を誘導または規則化するラベル付きデータからの事前知識に基づいて、減少仮説空間を生成する。 提案手法は,Musgraveらによって提案されたガイドラインを用いて,最大40%の改善(Recall@1, CIFAR10)を達成し,より公平で現実的な比較を行うことができることを示した。

関連論文リスト

• SpecRaGE: Robust and Generalizable Multi-view Spectral Representation Learning [9.393841121141076]
  近年,多視点表現学習 (MvRL) が注目されている。 グラフラプラシアンベースのMvRL法は、マルチビューデータの表現に顕著な成功を収めた。 本稿では,グラフラプラシアン手法の強みを深層学習の力と統合した,新しい融合ベースのフレームワークであるtextitSpecRaGE$を紹介する。
  論文  参考訳（メタデータ） (2024-11-04T14:51:35Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Who Explains the Explanation? Quantitatively Assessing Feature Attribution Methods [0.0]
  本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。 ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。 実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
  論文  参考訳（メタデータ） (2021-09-28T07:10:24Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。