論文の概要: MDFlow: Unsupervised Optical Flow Learning by Reliable Mutual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2211.06018v1
• Date: Fri, 11 Nov 2022 05:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:21:48.591958
• Title: MDFlow: Unsupervised Optical Flow Learning by Reliable Mutual Knowledge Distillation
• Title（参考訳）: MDFlow:相互知識蒸留による教師なし光フロー学習
• Authors: Lingtong Kong, Jie Yang
• Abstract要約: 現在のアプローチでは、継続的な自己スーパービジョンの強化正則化項が課せられている。 本稿では,教師と学生のネットワーク間で信頼ある知識を相互に伝達する新たな相互蒸留フレームワークを提案する。 我々のアプローチはMDFlowと呼ばれ、挑戦的なベンチマーク上で最先端のリアルタイム精度と一般化能力を実現する。
• 参考スコア（独自算出の注目度）: 12.249680550252327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown that optical flow can be learned by deep networks from unlabelled image pairs based on brightness constancy assumption and smoothness prior. Current approaches additionally impose an augmentation regularization term for continual self-supervision, which has been proved to be effective on difficult matching regions. However, this method also amplify the inevitable mismatch in unsupervised setting, blocking the learning process towards optimal solution. To break the dilemma, we propose a novel mutual distillation framework to transfer reliable knowledge back and forth between the teacher and student networks for alternate improvement. Concretely, taking estimation of off-the-shelf unsupervised approach as pseudo labels, our insight locates at defining a confidence selection mechanism to extract relative good matches, and then add diverse data augmentation for distilling adequate and reliable knowledge from teacher to student. Thanks to the decouple nature of our method, we can choose a stronger student architecture for sufficient learning. Finally, better student prediction is adopted to transfer knowledge back to the efficient teacher without additional costs in real deployment. Rather than formulating it as a supervised task, we find that introducing an extra unsupervised term for multi-target learning achieves best final results. Extensive experiments show that our approach, termed MDFlow, achieves state-of-the-art real-time accuracy and generalization ability on challenging benchmarks. Code is available at https://github.com/ltkong218/MDFlow.
• Abstract（参考訳）: 近年の研究では、輝度定数の仮定と滑らかさを前提に、ラベルなしの画像ペアから深いネットワークで光の流れを学習できることが示されている。 現在のアプローチはまた、困難なマッチング領域に有効であることが証明された連続的な自己超越に対する拡張正規化項を課している。 しかし、この手法は教師なしの設定における避けられないミスマッチを増幅し、学習プロセスを最適解に向けてブロックする。 このジレンマを打破するために,教師と学生のネットワーク間で信頼性のある知識を相互に伝達する新たな相互蒸留フレームワークを提案する。 具体的には,教師から学生への適切な信頼度の高い知識を抽出するための多種多様なデータ拡張を,教師から生徒へ与える信頼度選択機構の定義に着目する。 我々の方法の分離性のおかげで、十分な学習のためにより強力な学生アーキテクチャを選択できる。 最後に、より優れた学生予測が採用され、実際の展開に余分なコストがかからない効率的な教師に知識を振り返る。 教師付きタスクとして定式化するのではなく、マルチターゲット学習に余分に教師なしの用語を導入することで、最高の最終結果が得られる。 MDFlowと呼ばれる我々の手法は、挑戦的なベンチマーク上で最先端のリアルタイム精度と一般化能力を実現する。 コードはhttps://github.com/ltkong218/MDFlowで入手できる。

関連論文リスト

• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Less or More From Teacher: Exploiting Trilateral Geometry For Knowledge Distillation [21.913044821863636]
  本稿では,サンプル単位の知識融合比を学習するための新しい適応手法を提案する。 我々は,教師と生徒の正しさを両立させ,生徒が各サンプルに対していかにその教師を模倣するかを考察する。 単純なニューラルネットワークは、サンプル内およびサンプル間関係から適応的、サンプル単位の知識融合比への暗黙のマッピングを学習する。
  論文  参考訳（メタデータ） (2023-12-22T23:16:13Z)
• Uncertainty-aware Label Distribution Learning for Facial Expression Recognition [13.321770808076398]
  本研究では,不確実性と曖昧性に対する深層モデルのロバスト性を改善するために,新しい不確実性を考慮したラベル分布学習法を提案する。 本手法は深層ネットワークに容易に組み込んで,より訓練の監督と認識精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2022-09-21T15:48:41Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Better Supervisory Signals by Observing Learning Paths [10.044413937134237]
  本稿では, ラベルスムース化と知識蒸留という2つの既存のラベル精錬法について, 提案基準の観点から解説する。 トレーニングサンプル毎に,学習経路,すなわちトレーニング中のモデル予測の軌跡を観察する。 モデルは、おもちゃと実際のデータセットの両方で発生する"zig-zag"学習パスを通じて、自発的に"bad"ラベルを洗練できる。
  論文  参考訳（メタデータ） (2022-03-04T18:31:23Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation [83.23707895728995]
  光フローの教師なし学習は、教師付き手法に代わる有望な代替手段として登場した。 私たちは、トランスフォーメーションからより信頼性の高い監視を使用するためのフレームワークを提示します。 提案手法は, 深い教師なし手法の中で, 最高の精度で, いくつかのベンチマークで連続的に性能を向上する。
  論文  参考訳（メタデータ） (2020-03-29T14:55:24Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。