Fugu-MT 論文翻訳(概要): KD-MVS: Knowledge Distillation Based Self-supervised Learning for MVS

論文の概要: KD-MVS: Knowledge Distillation Based Self-supervised Learning for MVS

arxiv url: http://arxiv.org/abs/2207.10425v1
Date: Thu, 21 Jul 2022 11:41:53 GMT
ステータス: 処理完了
システム内更新日: 2022-07-22 13:15:40.515284
Title: KD-MVS: Knowledge Distillation Based Self-supervised Learning for MVS
Title（参考訳）: KD-MVS:知識蒸留に基づくMVSのための自己教師型学習
Authors: Yikang Ding, Qingtian Zhu, Xiangyue Liu, Wentao Yuan, Haotian Zhang and CHi Zhang
Abstract要約: 改良型マルチビューステレオ (MVS) 法は, 大規模地下深度収集の難しさに悩まされている。本稿では,知識蒸留に基づくMVSの自己指導型学習パイプラインであるtextitKD-MVS を提案する。
参考スコア（独自算出の注目度）: 12.71676484494428
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Supervised multi-view stereo (MVS) methods have achieved remarkable progress in terms of reconstruction quality, but suffer from the challenge of collecting large-scale ground-truth depth. In this paper, we propose a novel self-supervised training pipeline for MVS based on knowledge distillation, termed \textit{KD-MVS}, which mainly consists of self-supervised teacher training and distillation-based student training. Specifically, the teacher model is trained in a self-supervised fashion using both photometric and featuremetric consistency. Then we distill the knowledge of the teacher model to the student model through probabilistic knowledge transferring. With the supervision of validated knowledge, the student model is able to outperform its teacher by a large margin. Extensive experiments performed on multiple datasets show our method can even outperform supervised methods.
Abstract（参考訳）: supervised multi-view stereo (mvs) 法は復元品質において著しい進歩を遂げてきたが、大規模な地下深度の収集に苦しむ。本稿では,教師養成と留学生養成を主とする,知識蒸留に基づくmvsの自己教師訓練パイプラインである \textit{kd-mvs} を提案する。具体的には、教師モデルは、フォトメトリックと特徴メトリックの整合性の両方を用いて、自己指導型で訓練される。次に,教師モデルの知識を,確率的知識伝達を通じて生徒モデルに蒸留する。検証された知識の監督により、生徒モデルは教師を大きな利益率で上回ることができる。複数のデータセットで行った広範囲な実験によって、この手法は教師ありメソッドよりも優れています。

関連論文リスト

Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。その結果,提案手法はSOTA PKD法より優れていることがわかった。
論文参考訳（メタデータ） (2024-08-16T22:11:01Z)
DMT: Comprehensive Distillation with Multiple Self-supervised Teachers [27.037140667247208]
プレトレーニングモデル圧縮のためのDMT(Comprehensive Distillation with Multiple Self-supervised Teachers)を提案する。評価実験の結果,提案手法は最先端の競合相手を大きく上回っていることがわかった。
論文参考訳（メタデータ） (2023-12-19T08:31:30Z)
Multi-Mode Online Knowledge Distillation for Self-Supervised Visual Representation Learning [13.057037169495594]
自己教師付き視覚表現学習を促進するための多モードオンライン知識蒸留法(MOKD)を提案する。 MOKDでは、2つの異なるモデルが自己監督的な方法で協調的に学習する。さらに、MOKDは学生モデルと教師モデルの両方で既存のSSL-KDメソッドよりも優れている。
論文参考訳（メタデータ） (2023-04-13T12:55:53Z)
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation [4.156535226615695]
マルチビューと多表現(MV-MR)に基づく自己教師型学習と知識蒸留の新しい手法を提案する。 MV-MRは、拡張ビューと非拡張ビューからの学習可能な埋め込み間の依存に基づいている。提案手法は,効率的な自己監督型分類とモデル非依存型知識蒸留に利用できることを示す。
論文参考訳（メタデータ） (2023-03-21T18:40:59Z)
Learn From the Past: Experience Ensemble Knowledge Distillation [34.561007802532224]
本稿では,教師の知識伝達経験を統合した新しい知識蒸留法を提案する。教師モデルの学習過程から適度な数の中間モデルを均一に保存し,これらの中間モデルの知識をアンサンブル手法で統合する。意外な結論は、強いアンサンブルの教師が必ずしも強い学生を生み出すとは限らないことである。
論文参考訳（メタデータ） (2022-02-25T04:05:09Z)
Semi-Online Knowledge Distillation [2.373824287636486]
従来の知識蒸留(KD)は、大規模で訓練済みの教師ネットワークから小さな学生ネットワークへ知識を伝達することである。学生ネットワークの協調学習を支援するために,Deep mutual learning (DML) が提案されている。学生と教師のパフォーマンスを効果的に向上する半オンライン知識蒸留法(SOKD)を提案する。
論文参考訳（メタデータ） (2021-11-23T09:44:58Z)
Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文参考訳（メタデータ） (2021-01-21T07:17:04Z)
Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
知識蒸留はモデル圧縮の一般的な方法です。現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
論文参考訳（メタデータ） (2020-12-11T08:56:39Z)
Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文参考訳（メタデータ） (2020-06-12T12:18:52Z)
Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文参考訳（メタデータ） (2020-05-02T06:56:56Z)
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。