論文の概要: Knowledge Distillation for Road Detection based on cross-model
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2402.05305v1
- Date: Wed, 7 Feb 2024 22:50:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 17:12:21.595183
- Title: Knowledge Distillation for Road Detection based on cross-model
Semi-Supervised Learning
- Title(参考訳): クロスモデル半教師付き学習に基づく道路検出のための知識蒸留
- Authors: Wanli Ma, Oktay Karakus, Paul L. Rosin
- Abstract要約: 本稿では,知識蒸留と半教師付き学習手法を組み合わせた統合的アプローチを提案する。
このハイブリッドアプローチは、大規模モデルのロバストな機能を活用して、大規模な未ラベルデータを効果的に活用する。
半教師付き学習に基づく知識蒸留(SSLKD)アプローチは,学生モデルの性能向上を示す。
- 参考スコア(独自算出の注目度): 19.882572508794915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of knowledge distillation has played a crucial role in
enabling the transfer of knowledge from larger teacher models to smaller and
more efficient student models, and is particularly beneficial for online and
resource-constrained applications. The effectiveness of the student model
heavily relies on the quality of the distilled knowledge received from the
teacher. Given the accessibility of unlabelled remote sensing data,
semi-supervised learning has become a prevalent strategy for enhancing model
performance. However, relying solely on semi-supervised learning with smaller
models may be insufficient due to their limited capacity for feature
extraction. This limitation restricts their ability to exploit training data.
To address this issue, we propose an integrated approach that combines
knowledge distillation and semi-supervised learning methods. This hybrid
approach leverages the robust capabilities of large models to effectively
utilise large unlabelled data whilst subsequently providing the small student
model with rich and informative features for enhancement. The proposed
semi-supervised learning-based knowledge distillation (SSLKD) approach
demonstrates a notable improvement in the performance of the student model, in
the application of road segmentation, surpassing the effectiveness of
traditional semi-supervised learning methods.
- Abstract(参考訳): 知識蒸留の進歩は、より大きな教師モデルからより小さく効率的な学生モデルへの知識の移転を可能にする上で重要な役割を担い、特にオンラインおよびリソース制約の応用において有益である。
学生モデルの有効性は,教師から受けた蒸留知識の品質に大きく依存している。
乱れのないリモートセンシングデータのアクセシビリティを考えると、半教師付き学習はモデル性能を向上させるための一般的な戦略となっている。
しかし,機能抽出能力に限界があるため,より小さなモデルによる半教師付き学習のみに頼ることは不十分である。
この制限は、トレーニングデータを利用する能力を制限する。
本稿では,知識蒸留法と半教師付き学習法を組み合わせた統合的アプローチを提案する。
このハイブリッドアプローチは、大きなモデルの堅牢な能力を活用して、大きなラベルのないデータを効果的に活用し、その後、小さな学生モデルにリッチで有益な機能を提供して拡張する。
半教師あり学習に基づく知識蒸留(SSLKD)アプローチは,従来の半教師あり学習法を超越した道路分割の適用において,学生モデルの性能が顕著に向上したことを示す。
関連論文リスト
- Efficient Knowledge Deletion from Trained Models through Layer-wise
Partial Machine Unlearning [2.3496568239538083]
本稿では,機械学習アルゴリズムの新たなクラスを紹介する。
第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。
第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
論文 参考訳(メタデータ) (2024-03-12T12:49:47Z) - Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。
TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。
我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
論文 参考訳(メタデータ) (2023-06-20T08:16:37Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2023-05-09T05:04:35Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳(メタデータ) (2022-11-24T13:18:27Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳(メタデータ) (2022-10-21T21:59:42Z) - A Closer Look at Knowledge Distillation with Features, Logits, and
Gradients [81.39206923719455]
知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。
この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。
分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
論文 参考訳(メタデータ) (2022-03-18T21:26:55Z) - Dynamic Rectification Knowledge Distillation [0.0]
ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。
DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。
提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
論文 参考訳(メタデータ) (2022-01-27T04:38:01Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。
事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
論文 参考訳(メタデータ) (2021-02-12T07:00:17Z) - Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。
提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-01-20T13:07:39Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。