論文の概要: Context Unaware Knowledge Distillation for Image Retrieval
- arxiv url: http://arxiv.org/abs/2207.09070v1
- Date: Tue, 19 Jul 2022 04:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:57:21.667716
- Title: Context Unaware Knowledge Distillation for Image Retrieval
- Title（参考訳）: 画像検索のための文脈無意識知識蒸留
- Authors: Bytasandram Yaswanth Reddy, Shiv Ram Dubey, Rakesh Kumar Sanodiya,
Ravi Ranjan Prasad Karn
- Abstract要約: 既存の知識蒸留法では、深い(教師)モデルのロジットやその他の特徴を用いる。
本研究では,教師モデルの知識を標的の文脈で微調整することなく活用する,文脈を意識しない知識蒸留法を提案する。
- 参考スコア（独自算出の注目度）: 11.38957822323395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing data-dependent hashing methods use large backbone networks with
millions of parameters and are computationally complex. Existing knowledge
distillation methods use logits and other features of the deep (teacher) model
and as knowledge for the compact (student) model, which requires the teacher's
network to be fine-tuned on the context in parallel with the student model on
the context. Training teacher on the target context requires more time and
computational resources. In this paper, we propose context unaware knowledge
distillation that uses the knowledge of the teacher model without fine-tuning
it on the target context. We also propose a new efficient student model
architecture for knowledge distillation. The proposed approach follows a
two-step process. The first step involves pre-training the student model with
the help of context unaware knowledge distillation from the teacher model. The
second step involves fine-tuning the student model on the context of image
retrieval. In order to show the efficacy of the proposed approach, we compare
the retrieval results, no. of parameters and no. of operations of the student
models with the teacher models under different retrieval frameworks, including
deep cauchy hashing (DCH) and central similarity quantization (CSQ). The
experimental results confirm that the proposed approach provides a promising
trade-off between the retrieval results and efficiency. The code used in this
paper is released publicly at \url{https://github.com/satoru2001/CUKDFIR}.
- Abstract（参考訳）: 既存のデータ依存ハッシュ法は、数百万のパラメータを持つ巨大なバックボーンネットワークを使用し、計算的に複雑である。
既存の知識蒸留法では、ディープ(教師)モデルのロジットやその他の特徴と、教師のネットワークをコンテキスト上の学生モデルと並行して微調整する必要があるコンパクト(学生)モデルの知識を使用する。
ターゲットコンテキストで教師を訓練するには、より多くの時間と計算資源が必要である。
本稿では,教師モデルの知識を標的の文脈で微調整することなく活用する,文脈を意識しない知識蒸留を提案する。
また,知識蒸留のための効率的な学生モデルアーキテクチャを提案する。
提案手法は2段階のプロセスに従う。
最初のステップは、教師モデルからの知識蒸留を意識せずに、学生モデルを事前学習することである。
2番目のステップは、画像検索の文脈で学生モデルを微調整することである。
提案手法の有効性を示すために,検索結果の比較を行った。
パラメータとノーです
DCH(Deep cauchy hashing)やCSQ(Central similarity Quantization)など,さまざまな検索フレームワーク下での教師モデルによる学生モデルの運用について検討した。
実験の結果,提案手法が検索結果と効率のトレードオフをもたらすことを確認した。
この論文で使用されたコードは、 \url{https://github.com/satoru2001/CUKDFIR} で公開されている。
関連論文リスト
- Let All be Whitened: Multi-teacher Distillation for Efficient Visual
Retrieval [57.17075479691486]
市販の事前学習型検索モデルから軽量な学生モデルに知識を伝達し,効率的な視覚的検索を可能にする多教師蒸留フレームワークWhiten-MTDを提案する。
ソースコードはhttps://github.com/Maryeon/whiten_mtd.comで公開されています。
論文 参考訳（メタデータ） (2023-12-15T11:43:56Z) - Improved knowledge distillation by utilizing backward pass knowledge in
neural networks [17.437510399431606]
知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。
本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。
自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
論文 参考訳（メタデータ） (2023-01-27T22:07:38Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。
本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。
具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
論文 参考訳（メタデータ） (2022-12-11T06:22:14Z) - Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。
問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。
我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
論文 参考訳（メタデータ） (2022-05-13T15:15:27Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳（メタデータ） (2021-12-17T11:56:56Z) - Oracle Teacher: Leveraging Target Information for Better Knowledge
Distillation of CTC Models [10.941519846908697]
我々は、コネクショニスト時間分類(CTC)に基づくシーケンスモデル、すなわち、Oracle Teacherのための新しいタイプの教師モデルを導入する。
Oracle Teacherは、ターゲット情報を参照することによって、より正確なCTCアライメントを学ぶため、より最適なガイダンスを提供することができる。
CTCアルゴリズムの多対一マッピング特性に基づいて、自明な解を効果的に防止できるトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2021-11-05T14:14:05Z) - Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
知識蒸留はモデル圧縮の一般的な方法です。
現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。
既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。
本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
論文 参考訳（メタデータ） (2020-12-11T08:56:39Z) - Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。
本稿では,計量学習問題に対する知識蒸留について述べる。
従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
論文 参考訳（メタデータ） (2020-07-10T10:59:16Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。