論文の概要: Data-Efficient Ranking Distillation for Image Retrieval

• arxiv url: http://arxiv.org/abs/2007.05299v2
• Date: Mon, 13 Jul 2020 10:51:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 22:09:00.032023
• Title: Data-Efficient Ranking Distillation for Image Retrieval
• Title（参考訳）: 画像検索のためのデータ効率の高いランキング蒸留
• Authors: Zakaria Laskar, Juho Kannala
• Abstract要約: 近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。 本稿では,計量学習問題に対する知識蒸留について述べる。 従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
• 参考スコア（独自算出の注目度）: 15.88955427198763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning has lead to rapid developments in the field of image retrieval. However, the best performing architectures incur significant computational cost. Recent approaches tackle this issue using knowledge distillation to transfer knowledge from a deeper and heavier architecture to a much smaller network. In this paper we address knowledge distillation for metric learning problems. Unlike previous approaches, our proposed method jointly addresses the following constraints i) limited queries to teacher model, ii) black box teacher model with access to the final output representation, and iii) small fraction of original training data without any ground-truth labels. In addition, the distillation method does not require the student and teacher to have same dimensionality. Addressing these constraints reduces computation requirements, dependency on large-scale training datasets and addresses practical scenarios of limited or partial access to private data such as teacher models or the corresponding training data/labels. The key idea is to augment the original training set with additional samples by performing linear interpolation in the final output representation space. Distillation is then performed in the joint space of original and augmented teacher-student sample representations. Results demonstrate that our approach can match baseline models trained with full supervision. In low training sample settings, our approach outperforms the fully supervised approach on two challenging image retrieval datasets, ROxford5k and RParis6k \cite{Roxf} with the least possible teacher supervision.
• Abstract（参考訳）: 近年のディープラーニングの進歩は,画像検索分野の急速な発展につながっている。 しかし、最も優れたアーキテクチャは計算コストを大幅に削減する。 近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために知識蒸留を用いる。 本稿では,計量学習問題に対する知識蒸留について述べる。 従来の手法とは異なり,提案手法は以下の制約に対応する。 一 教師モデルに限られたクエリ 二 最終出力表現へのアクセスを有するブラックボックス教師モデル、及び 三 ゼロトラストラベルのない元の訓練データのごく一部 また, 蒸留法では, 生徒と教師が同じ次元を持つ必要はない。 これらの制約に対処することで、計算要件の削減、大規模トレーニングデータセットへの依存、教師モデルや対応するトレーニングデータ/ラベルなどのプライベートデータへの限定的あるいは部分的なアクセスの実用的なシナリオに対処することができる。 鍵となるアイデアは、最終的な出力表現空間で線形補間を行うことで、元のトレーニングセットを追加サンプルで強化することである。 蒸留は、オリジナルおよび強化された教師学生のサンプル表現のジョイント空間で行われる。 その結果,本手法は,完全監視でトレーニングしたベースラインモデルと一致できることが判明した。 低トレーニングのサンプル設定では、教師監督の可能性が低いROxford5kとRParis6k \cite{Roxf}の2つの課題の画像検索データセットに対して、完全に教師されたアプローチよりも優れている。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Reverse Knowledge Distillation: Training a Large Model using a Small One for Retinal Image Matching on Limited Data [1.9521342770943706]
  限られたデータで大規模モデルを訓練するための逆知識蒸留に基づく新しい手法を提案する。 我々は、より軽量なCNNモデルを用いて、視覚変換器エンコーダに基づく計算的に重いモデルを訓練する。 実験結果から,表現空間における高次元フィッティングは,最終出力に適合するトレーニングと異なり,過度な適合を防止できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-20T08:39:20Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Generative Adversarial Simulator [2.3986080077861787]
  強化学習における知識蒸留へのシミュレータフリーアプローチを提案する。 重要な課題は、学生に与えられた行動に対応する事例の多様さを学習させることである。 これは教師と学生の政策の間のシミュレータフリーな知識蒸留の初めての実演である。
  論文  参考訳（メタデータ） (2020-11-23T15:31:12Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model [57.41841346459995]
  我々は,ブラックボックス教師モデルから知識を抽出し,学生の深層ニューラルネットワークを視覚認識のために訓練する方法を,データ効率のよい方法で研究する。 混合学習とアクティブラーニングを融合した手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T05:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。