論文の概要: Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors

• arxiv url: http://arxiv.org/abs/2209.11795v2
• Date: Fri, 8 Mar 2024 06:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:58:01.457342
• Title: Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors
• Title（参考訳）: ディスクリプタ蒸留 : ローカルディスクリプタ学習のための教師学生正規化フレームワーク
• Authors: Yuzhen Liu and Qiulei Dong
• Abstract要約: 本稿では,DesDis と呼ばれるローカルな記述子学習のための記述子蒸留フレームワークを提案する。 学生モデルは、事前訓練された教師モデルから知識を得、設計された教師-学生正規化器によってさらに強化される。 3つの公開データセットによる実験結果から、同級生モデルが教師よりもはるかに優れたパフォーマンスを達成できることが示された。
• 参考スコア（独自算出の注目度）: 17.386735294534738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a fast and discriminative patch descriptor is a challenging topic in computer vision. Recently, many existing works focus on training various descriptor learning networks by minimizing a triplet loss (or its variants), which is expected to decrease the distance between each positive pair and increase the distance between each negative pair. However, such an expectation has to be lowered due to the non-perfect convergence of network optimizer to a local solution. Addressing this problem and the open computational speed problem, we propose a Descriptor Distillation framework for local descriptor learning, called DesDis, where a student model gains knowledge from a pre-trained teacher model, and it is further enhanced via a designed teacher-student regularizer. This teacher-student regularizer is to constrain the difference between the positive (also negative) pair similarity from the teacher model and that from the student model, and we theoretically prove that a more effective student model could be trained by minimizing a weighted combination of the triplet loss and this regularizer, than its teacher which is trained by minimizing the triplet loss singly. Under the proposed DesDis, many existing descriptor networks could be embedded as the teacher model, and accordingly, both equal-weight and light-weight student models could be derived, which outperform their teacher in either accuracy or speed. Experimental results on 3 public datasets demonstrate that the equal-weight student models, derived from the proposed DesDis framework by utilizing three typical descriptor learning networks as teacher models, could achieve significantly better performances than their teachers and several other comparative methods. In addition, the derived light-weight models could achieve 8 times or even faster speeds than the comparative methods under similar patch verification performances
• Abstract（参考訳）: 高速かつ識別可能なパッチ記述子を学ぶことは、コンピュータビジョンにおいて難しいトピックである。 近年では,各正対間の距離を小さくし,負対間の距離を増加させるトリプレットロス(あるいはその変種)を最小化することで,様々な記述型学習ネットワークのトレーニングに注目が集まっている。 しかし、ネットワークオプティマイザの局所解への非完全収束のため、そのような期待を下げなければならない。 この問題と計算速度の問題に対処し,DesDisと呼ばれるローカル記述子学習のための記述子蒸留フレームワークを提案する。 教師のモデルと生徒のモデルとの正の(かつ負の)対の類似性の違いを制約し、理論上、三重項損失とこの正規化子の重み付き組合せを、三重項損失を単独で最小化して訓練した教師よりも、より効果的な生徒モデルの訓練が可能であることを理論的に証明する。 提案されているdesdisでは、既存のディスクリプタネットワークを教師モデルとして組み込むことができ、それゆえ等級と軽量の学生モデルの両方を導出することができ、教師の正確さと速度のどちらよりも優れている。 3つの公開データセットに対する実験結果から,3つの典型的な記述子学習ネットワークを教師モデルとして利用することにより,提案したDesDisフレームワークから導出された同級生モデルが,教師や他の比較手法よりもはるかに優れたパフォーマンスを達成できることが示されている。 さらに、導出した軽量モデルは、類似のパッチ検証性能の下で比較法よりも8倍またはそれ以上高速に実現できる。

関連論文リスト

• Establishing a stronger baseline for lightweight contrastive models [10.63129923292905]
  最近の研究は、特別に設計された効率的なネットワークのための自己指導型コントラスト学習の性能劣化を報告している。 一般的な実践は、事前訓練された対照的な教師モデルを導入し、教師が生成した蒸留信号で軽量ネットワークを訓練することである。 本研究では,教師モデルの事前学習を使わずに,軽量コントラストモデルのための強力なベースラインを確立することを目的とする。
  論文  参考訳（メタデータ） (2022-12-14T11:20:24Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Knowledge Distillation via Weighted Ensemble of Teaching Assistants [18.593268785143426]
  知識蒸留は、教師と呼ばれる大きなモデルから学生と呼ばれる小さなモデルに知識を移す過程である。 教師と生徒のネットワークサイズギャップが大きくなると、学生ネットワークの性能は低下する。 学生モデル(より小さいモデル)は,複数の指導支援モデルを用いてさらに改善できることが示されている。
  論文  参考訳（メタデータ） (2022-06-23T22:50:05Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
  適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。 広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-02-25T20:54:24Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。