論文の概要: Distilling Stereo Networks for Performant and Efficient Leaner Networks
- arxiv url: http://arxiv.org/abs/2503.18544v1
- Date: Mon, 24 Mar 2025 10:56:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:35:51.646946
- Title: Distilling Stereo Networks for Performant and Efficient Leaner Networks
- Title（参考訳）: 高性能かつ効率的なリーンネットワークのためのステレオネットワークの蒸留
- Authors: Rafia Rahim, Samuel Woerz, Andreas Zell,
- Abstract要約: 本研究では, 現状のステレオ手法と一般知識蒸留技術を組み合わせて, ステレオネットワーク蒸留のためのジョイントフレームワークを開発する。
本研究では, ステレオネットワークから知識を蒸留するには, 完全蒸留パイプラインの設計を慎重に行う必要があることを示す。
その結果、よりリーンで高速なだけでなく、優れたパフォーマンスを提供する学生ネットワークが生まれる。
- 参考スコア（独自算出の注目度）: 10.824879437909306
- License:
- Abstract: Knowledge distillation has been quite popular in vision for tasks like classification and segmentation however not much work has been done for distilling state-of-the-art stereo matching methods despite their range of applications. One of the reasons for its lack of use in stereo matching networks is due to the inherent complexity of these networks, where a typical network is composed of multiple two- and three-dimensional modules. In this work, we systematically combine the insights from state-of-the-art stereo methods with general knowledge-distillation techniques to develop a joint framework for stereo networks distillation with competitive results and faster inference. Moreover, we show, via a detailed empirical analysis, that distilling knowledge from the stereo network requires careful design of the complete distillation pipeline starting from backbone to the right selection of distillation points and corresponding loss functions. This results in the student networks that are not only leaner and faster but give excellent performance . For instance, our student network while performing better than the performance oriented methods like PSMNet [1], CFNet [2], and LEAStereo [3]) on benchmark SceneFlow dataset, is 8x, 5x, and 8x faster respectively. Furthermore, compared to speed oriented methods having inference time less than 100ms, our student networks perform better than all the tested methods. In addition, our student network also shows better generalization capabilities when tested on unseen datasets like ETH3D and Middlebury.
- Abstract（参考訳）: 知識蒸留は、分類やセグメンテーションのようなタスクのビジョンにおいて非常に人気があるが、その適用範囲にかかわらず、最先端のステレオマッチング手法を蒸留する作業はあまり行われていない。
ステレオマッチングネットワークに使用できない理由の1つは、典型的なネットワークが複数の2次元および3次元モジュールで構成されている、これらのネットワークの本質的な複雑さである。
本研究では,現状のステレオ手法から得られる知見と一般知識蒸留手法を体系的に組み合わせて,競争的な結果とより高速な推論を伴うステレオネットワーク蒸留のためのジョイントフレームワークを開発する。
さらに, ステレオネットワークからの蒸留知識は, バックボーンから適切な蒸留点の選択およびそれに対応する損失関数まで, 完全な蒸留パイプラインの設計を慎重に行う必要があることを示す。
結果として、よりリーンで高速なだけでなく、優れたパフォーマンスを提供する学生ネットワークが生まれます。
例えば、ベンチマークSceneFlowデータセットでは、PSMNet [1]、CFNet [2]、LEAStereo [3])のようなパフォーマンス指向の手法よりもパフォーマンスが優れていますが、それぞれ8倍、5倍、8倍高速です。
さらに,100ms未満の推論時間を持つ速度指向手法と比較して,学生ネットワークは試験方法のすべてよりも優れていた。
さらに、私たちの学生ネットワークは、ETH3DやMiddleburyのような目に見えないデータセットでテストした場合、より良い一般化能力も示しています。
関連論文リスト
- Towards Mitigating Architecture Overfitting on Distilled Datasets [2.3371504588528635]
本稿では,テキストアーキテクチャオーバーフィッティングの問題を緩和するための一連のアプローチを紹介する。
具体的には、DropPathは、大きなモデルをそのサブネットワークの暗黙のアンサンブルとして表現し、知識蒸留により、各サブネットワークが、小さいが、優れた教師ネットワークと同様に振る舞うことが保証される。
テストネットワークがトレーニングネットワークよりも大きい場合、我々のアプローチは同等あるいはそれ以上のパフォーマンスを実現します。
論文 参考訳（メタデータ） (2023-09-08T08:12:29Z) - Distribution Shift Matters for Knowledge Distillation with Webly
Collected Images [91.66661969598755]
異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。
まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。
また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
論文 参考訳（メタデータ） (2023-07-21T10:08:58Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Distilling Knowledge via Knowledge Review [69.15050871776552]
教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-04-19T04:36:24Z) - Students are the Best Teacher: Exit-Ensemble Distillation with
Multi-Exits [25.140055086630838]
本論文では,畳み込みニューラルネットワーク(CNN)の分類性能を改善するための知識蒸留に基づく新しい学習法を提案する。
教師が生徒にのみ教える従来の蒸留の概念とは異なり、生徒は他の生徒や教師がもっとよく学ぶのを助けることができる。
論文 参考訳（メタデータ） (2021-04-01T07:10:36Z) - ES-Net: An Efficient Stereo Matching Network [4.8986598953553555]
既存のステレオマッチングネットワークは通常、性能を改善するために遅くて計算コストのかかる3D畳み込みを使用する。
本稿では,高性能かつ効率的な推定を実現する効率的なステレオネットワーク(esnet)を提案する。
論文 参考訳（メタデータ） (2021-03-05T20:11:39Z) - Fast accuracy estimation of deep learning based multi-class musical
source separation [79.10962538141445]
本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。
理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
論文 参考訳（メタデータ） (2020-10-19T13:05:08Z) - Collaborative Distillation in the Parameter and Spectrum Domains for
Video Action Recognition [79.60708268515293]
本稿では,行動認識のための小型かつ効率的なネットワークの訓練方法について検討する。
周波数領域における2つの蒸留戦略,すなわち特徴スペクトルとパラメータ分布蒸留を提案する。
提案手法は,同じバックボーンを持つ最先端の手法よりも高い性能を実現することができる。
論文 参考訳（メタデータ） (2020-09-15T07:29:57Z) - Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and
Stereo Matching [41.18196059378694]
本稿では,光学フローとステレオマッチングを協調的に学習する統一手法を提案する。
我々はこの知識を最先端の自己教師型学習フレームワークに登録する。
次に、フローとステレオの両方を見積もるために、1つのネットワークをトレーニングします。
論文 参考訳（メタデータ） (2020-04-05T09:52:04Z) - Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。
本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。
我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文 参考訳（メタデータ） (2020-03-23T08:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。