論文の概要: Decorrelating Structure via Adapters Makes Ensemble Learning Practical for Semi-supervised Learning
- arxiv url: http://arxiv.org/abs/2408.04150v1
- Date: Thu, 8 Aug 2024 01:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 17:00:24.106476
- Title: Decorrelating Structure via Adapters Makes Ensemble Learning Practical for Semi-supervised Learning
- Title（参考訳）: 適応器による構造決定は、半教師あり学習のためのアンサンブル学習を実践する
- Authors: Jiaqi Wu, Junbiao Pang, Qingming Huang,
- Abstract要約: コンピュータビジョンでは、従来のアンサンブル学習法は訓練効率が低いか、限られた性能を示す。
本稿では,視覚的タスクに適応器を用いたDecorrelating Structure(DSA)による軽量,損失関数なし,アーキテクチャに依存しないアンサンブル学習を提案する。
- 参考スコア（独自算出の注目度）: 50.868594148443215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In computer vision, traditional ensemble learning methods exhibit either a low training efficiency or the limited performance to enhance the reliability of deep neural networks. In this paper, we propose a lightweight, loss-function-free, and architecture-agnostic ensemble learning by the Decorrelating Structure via Adapters (DSA) for various visual tasks. Concretely, the proposed DSA leverages the structure-diverse adapters to decorrelate multiple prediction heads without any tailed regularization or loss. This allows DSA to be easily extensible to architecture-agnostic networks for a range of computer vision tasks. Importantly, the theoretically analysis shows that the proposed DSA has a lower bias and variance than that of the single head based method (which is adopted by most of the state of art approaches). Consequently, the DSA makes deep networks reliable and robust for the various real-world challenges, \textit{e.g.}, data corruption, and label noises. Extensive experiments combining the proposed method with FreeMatch achieved the accuracy improvements of 5.35% on CIFAR-10 dataset with 40 labeled data and 0.71% on CIFAR-100 dataset with 400 labeled data. Besides, combining the proposed method with DualPose achieved the improvements in the Percentage of Correct Keypoints (PCK) by 2.08% on the Sniffing dataset with 100 data (30 labeled data), 5.2% on the FLIC dataset with 100 data (including 50 labeled data), and 2.35% on the LSP dataset with 200 data (100 labeled data).
- Abstract（参考訳）: コンピュータビジョンでは、従来のアンサンブル学習手法は、深層ニューラルネットワークの信頼性を高めるために、訓練効率が低いか、限られた性能を示す。
本稿では,多種多様な視覚的タスクに対して,DSA(Decor related Structure via Adapters)による軽量で損失のない,アーキテクチャに依存しないアンサンブル学習を提案する。
具体的には、DSAは、構造多様性アダプタを活用して、複数の予測ヘッドを調整された正規化や損失を伴わずにデコレーションする。
これにより、DSAは様々なコンピュータビジョンタスクに対してアーキテクチャに依存しないネットワークに容易に拡張できる。
重要なことは、理論解析により、提案したDSAは、単一のヘッドベース法よりもバイアスとばらつきが低いことを示している(これは、ほとんどの最先端技術で採用されている)。
従って、DSAは、さまざまな現実世界の課題、 \textit{e g }、データ破損、ラベルノイズに対して、ディープネットワークを信頼性と堅牢にする。
提案手法とFreeMatchを組み合わせた大規模な実験により、CIFAR-10データセットでは5.35%、40ラベルのデータでは0.71%、400ラベルのデータでは0.71%の精度向上が達成された。
さらに、提案手法とDualPoseを組み合わせることで、100データ(ラベル付きデータ30)のスニッフィングデータセットでは2.08%、100データ(ラベル付きデータ50)のFLICデータセットでは5.2%、200データ(ラベル付きデータ100)のLSPデータセットでは2.35%の改善を実現した。
関連論文リスト
- Low-Quality Training Data Only? A Robust Framework for Detecting Encrypted Malicious Network Traffic [19.636282208765547]
機械学習モデルが低品質のトレーニングデータでトレーニングされると、パフォーマンスが低下する。
特徴空間における正常なトラフィックと悪意のあるトラフィックの分布を完全に活用するRAPIERを開発した。
RAPIERは、暗号化された悪意のあるトラフィック検出を、最高のF1スコアである0.773で効果的に達成し、既存のメソッドのF1スコアを平均272.5%改善する。
論文 参考訳（メタデータ） (2023-09-09T13:49:30Z) - Patch-Level Contrasting without Patch Correspondence for Accurate and
Dense Contrastive Representation Learning [79.43940012723539]
ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。
提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-23T07:38:09Z) - Federated Transfer-Ordered-Personalized Learning for Driver Monitoring
Application [15.731990691086123]
フェデレートラーニング(FL)は、自動車インターネット(IoV)上の運転監視アプリケーション(DMA)など、様々な分野に適用されている。
本稿では,FedTOP(Federated Transfer-ordered-personalized Learning)フレームワークを提案する。
この結果は、提案されたFedTOPが、高度に正確で、合理化され、プライバシー保護され、サイバーセキュリティ指向で、DMAのためのパーソナライズされたフレームワークとして使用できることを示している。
論文 参考訳（メタデータ） (2023-01-12T06:12:04Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z) - Webly Supervised Fine-Grained Recognition: Benchmark Datasets and An
Approach [115.91099791629104]
WebFG-496 と WebiNat-5089 の2つの新しいベンチマークを構築した。
WebiNat-5089には5089のサブカテゴリと1100万以上のWebトレーニングイメージが含まれている。
そこで本研究では,これらのデータセットのベンチマークを行うための新しいウェブ教師付き手法("Peer-learning'" と呼ぶ)を提案する。
論文 参考訳（メタデータ） (2021-08-05T06:28:32Z) - Dataset Distillation with Infinitely Wide Convolutional Networks [18.837952916998947]
分散カーネルをベースとしたメタラーニングフレームワークを用いて,データセット蒸留の最先端結果を実現する。
CIFAR-10画像分類タスクでは64%以上のテスト精度が得られた。
我々の現状は、MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100、SVHNの他の多くの設定にも及んでいる。
論文 参考訳（メタデータ） (2021-07-27T18:31:42Z) - Precision-Weighted Federated Learning [1.8160945635344528]
フェデレート学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に,勾配のばらつきを考慮した新しいアルゴリズムを提案する。
本手法は,2つの異なるデータ分割戦略 (IID/non-IID) を持つ標準画像分類データセットを用いて,資源制約環境下での手法の性能と速度を測定した。
論文 参考訳（メタデータ） (2021-07-20T17:17:10Z) - Cross-Dataset Collaborative Learning for Semantic Segmentation [17.55660581677053]
我々は、Cross-Dataset Collaborative Learning (CDCL) と呼ばれる、単純で柔軟で汎用的なセマンティックセグメンテーション手法を提案する。
複数のラベル付きデータセットを付与することで、各データセット上の特徴表現の一般化と識別を改善することを目指しています。
単一データセットとクロスデータセットの設定で,Cityscapes,BDD100K,CamVid,COCO Stuffという4つの多様なデータセットに対して,広範な評価を行う。
論文 参考訳（メタデータ） (2021-03-21T09:59:47Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳（メタデータ） (2020-12-25T14:58:35Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳（メタデータ） (2020-12-03T02:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。